工作人员在演示“AI手语翻译机”的工作过程。
【深圳商报讯】(记者陈姝)在昨日的“2019年数字生态大会”AI分论坛上,腾讯优图实验室联合负责人、杰出科学家贾佳亚透露,优图近期在AI手语识别上取得突破——推出基于自研算法的“优图AI手语翻译机”。只需要一个普通摄像头和一台高性能电脑,就可以识别手语并快速翻译。
手语识别,就是指通过计算机算法,自动区分手语表达中的各类手势、动作以及这些手势和动作之间的切换,最后将表达的手语翻译成文字。不过相比于其他AI视觉识别技术的研究,手语识别的研发存在更大的困难和挑战。手语表达所特有的地域性、复杂性和多样性,极大地增加了数据采集与清洗的难度和成本,而受限于数据量的大小和人工设计特征的缺陷,很多传统研究的方法在适应性、泛化性上都十分有限。
据贾佳亚介绍,此次腾讯优图推出的AI手语翻译机,结合听障人士手语表达的习惯采集手语数据,参考先进的手势识别、动作识别和序列翻译等技术,通过自研算法实现了对复杂手语表达的识别技术突破。相较于其他方法,优图AI手语翻译机的数据集,覆盖了近千句日常表达、900个常用词汇,同时对数据进行进一步的分析和归纳,拥有目前最大的中文手语识别数据集,并支持整句手语表达的识别,可直接判断用户是否结束并完成实时翻译。
全国7200万听障人士中,有2700万人需要通过手语进行日常沟通。虽然我国信息无障碍领域的投入在逐渐增加,但全国致力于听障者专业服务的人士,仍只有大约一万名,大部分公共服务没有配备专门的便利设施,听障人士在公共场所与健听人士交流困难重重。
贾佳亚表示,下一步,优图实验室将对AI手语翻译机展开优化和升级,尝试在日常服务窗口、手语教育等场景中落地。目前,优图实验室已经和深圳市信息无障碍研究会成立AI手语识别联合项目组,就手语数据采集、产品算法优化等方面展开长期深度合作,并通过与听障者或手语使用者进一步接触,扩充数据容量,完善数据规范。
从2009年开始,微信、QQ等产品已先后针对残障用户进行优化,几乎腾讯的全系产品都有了“信息无障碍”版本。2018年,腾讯获得联合国教科文组织颁发的“数字技术增强残疾人权能奖”。