查看原文
其他

用手语“解说”昨晚夺金那一刻

邀你看冰雪赛事的 腾讯 2023-10-22

左手食指横伸;右手伸拇指、小指,撞向左手食指……


手语:冲刺


 “武大靖最后一次冲刺!最后一个弯道,武大靖率先冲出弯道,冲过了终点!”



在央视频的比赛播放中,央视频AI手语翻译官聆语,为昨晚夺金那一刻,带来了手语解说。


目前,我国有2780万听力障碍人群。


电视画面右下角的手语主持人,就是他们眼中的“解说员”。


同时为听障人士解说的有——腾讯 3D 手语数字人小聪,将上线腾讯体育。


小聪手语解说“中国夺得首金”


小聪、聆语,均由腾讯的技术团队打造,特点是:


手语表达能力接近真人;


所谓学无止境,他们能自行学习,快速补充海量新词、热词。


最近这段时间,聆语、小聪会为冰雪赛事的转播采访等环节,提供手语解说服务。



2780万人需要手语主持人



如何让2780万听障人群享受更美好的电视时光?


答案是,手语主持人!


但手语解说,可不简单。


先来看语序问题——


汉语、手语的正常语序编排是不一样的。来看个例子——


汉语:猫追老鼠

👇

手语:猫 老鼠 追


这就给手语解说增加了难度——


如果你按汉语正常语序编排,那么,听障人士看到的手语解说,其实是乱序的。


除了语序问题外,手语还有个特点:没有虚词和量词。


举俩例子感受下——


汉语:两本书

👇

手语:书 二

汉语:大雪纷飞

👇

手语:雪 + 大幅身体摆动体现程度


试想一下,不恰当的省略,会导致意思理解上千差万别——


比如,“两捆书”可能被理解成“两本书”。


此外,手语还有个特点:


不仅仅需要手势,还需要依靠面部表情、身体动作等表达信息。


调研发现,绝大多数听障者只能理解手语新闻中不到60%的内容。


除了手语翻译难的问题外,另一个显而易见的现状是——


手语主持人太少了。


因此,非常有必要去研发翻译精准的AI手语主持人。


2021年10月,广电总局在《广播电视和网络视听“十四五”科技发展规划》中首次明确指出,要推动虚拟主播、动画手语广泛应用于新闻播报、天气预报、综艺科教等节目生产,创新节目形态,提高制播效率和智能化水平。


让数字人掌握专业手语翻译



问题是,如何让数字人学会专业的手语翻译呢?


聆语、小聪背后,整合了3D数字人建模、语音识别、语义理解、机器翻译和图像渲染技术等。


说起机器翻译,我们的程序员还为此啃起了《国家通用手语词典》。



经历了漫长的手语调研、手语顾问团队建设,我们开发出了一套手语翻译系统——


只需输入健听人语言,即可通过机器翻译低延迟生成高准确率的手语语言表征,比如:


输入:他是我的手语老师

👇

预处理:他 是 我 的 手语 老师

👇

翻译:他 我 手语 老师 是

接着,驱动手语数字人准确表达——


基于腾讯多模态端到端生成模型,进行联合建模及预测生成高准确率的动作、表情、唇动等序列,实现自然专业、易懂度高的手语效果。


通过这项技术,AI手语可懂度达90%以上。


一直以来,腾讯都在积极倡导全社会共同关注信息无障碍,我们将面向社会开放技术与能力。


期待未来,会有更多AI手语主持人在电视栏目中上线。


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存