清华听障博士用AI赋能信息无障碍

　　清华听障博士用AI赋能信息无障碍

　　姚登峰

　　姚登峰是一位听障人士，但他在逆境中不断地创造传奇，获得了北京大学硕士、清华大学博士学位，现在是北京联合大学的副教授、硕士生导师。去年12月，他和另外两位清华博士一起创业。

　　他来自湖北天门，1岁时双耳失聪，却以优异成绩完成各阶段学业。作为全球首位人工智能聋人博士，姚登峰的博士课题是手语认知与计算，致力解决聋人与健全人的信息沟通问题。在李德毅院士的点拨下，姚登峰团队将手语计算研究扩展到行为语言计算研究，即理解全人类的行为语言。为了将最新科技成果转化为科技产品，他创业成立行语科技，成为一家行为语言整体解决方案的提供商，公司自主研发的行为语言计算技术，在理解除了语音语言之外的整个人类多样化行为方面，居于世界领先水平。

　　5月25日，在清华大学校长杯创新挑战赛中，行语科技脱颖而出，获得由众多顶级投资人和专家评出的企业创新奖。

　　面对坎坷“生气不如争气”

　　姚登峰从小就以残疾身体奔跑在人生马拉松赛场。他1岁时因为感冒发烧导致听力极重度损失，从此坠入了一片静寂的无声世界。

　　当时医生的判断是训练没有效果，但他的母亲没有放弃，日复一日对他进行听语康复训练。没有助听器，母亲就在他耳边大声“喊话”，彼此摸着对方的喉咙感觉声音的震动来发音，渐渐登峰学会说话和交流。上学后，他无法听到老师讲课的完整信息，自己就通过大量的阅读和自学来弥补，以顽强的毅力克服了求学中的种种困难和阻碍，他的成绩可以考入重点大学，却因耳聋被拒录，几经周折被录取到一所二本大学。

　　“生气不如争气！”姚登峰面对挫折激发斗志，更加努力证明自己不比健全人差。2003年他通过全国统考，以专业第一名的成绩考上了北大研究生，并以全优的成绩毕业。也正是在北大读研期间，他第一次接触到信息无障碍。“大部分人认为信息障碍只存在于残障人士之间，其实健全人也会有老的时候，也会有听不到声音、看不到东西的时候，也会有特殊场景下遇到信息障碍的时候。信息无障碍是全人类的事情”。

　　他在信息无障碍领域做了大量开创性的工作，也发现了手语背后计算领域的一片空白地带，为此他2012年考入清华大学在职攻读博士学位，希望用手语认知和计算技术，让有声世界的口语族与无声世界的手语族能够自由沟通。

　　在清华读博期间，在数以万计的代码编写和实验论证之后，2016年姚登峰团队在国际上首次提出手语计算的认知架构，一举解决了手语计算困扰多年的底层像素特征与逻辑语义输出的断层，汇合手势分词实验的数据宝库，手语计算的理论、技术与认知支撑首次形成了完整闭环。

　　担任中国人工智能学会理事长、北京联合大学机器人学院院长的李德毅院士，有一次点拨姚登峰：在自然语言交流效果中，有声语言占7%，语音音调占38%，面部表情、肢体语言及手势等行为语言占55%。过去30年来AI只关注占比45%的讲话内容的理解，但对于占比55%的表情、手势、肢体等行为语言并未关注。

　　姚登峰博士毕业后在手语计算的基础上，开始尝试破解行为语言的深层奥秘，由于两者本身在面部、手势、肢体的聚合感知上架构相通，再加上团队伙伴不懈地探索和研究，仅仅两年便在这一领域取得了突破性进展，2017年姚登峰被推荐为北京市卓越青年科学家。

　　调研发现各行各业都有行为语言计算需求

　　行为语言是从运算智能到达感知智能、认知智能重要的途径，基于动态影像的行为识别是AI的最前沿领域，全球科技巨头都在积极寻找刚需解决方案。

　　阿布都克力木、哈里旦木两位博士和姚登峰是从事小语种计算研究的清华同学，他们常常在一起讨论前沿科技，在一次次探讨中敏锐地认识到，如果对人类行为语言进行全方位无感识别与计算输出，机器智能便能理解各种行为语义并做出善解人意的反馈。这将是由传统运算智能上升至感知智能和认知智能的重要核心，并可以延伸出更多跨行业有价值的产品和服务。

　　2018年，姚登峰团队在湖北进行了智能领域的无人驾驶无感识别的实验，通过一周的数据采集，该技术在0~100米范围内可以准确在人群中识别出交警，识别率达到95%；在识别交警准确的8套手势时，识别率达到90%。这证明该技术已达商用标准，他们顺利拿到了国家知识产权证书。