播报|聚焦冬奥“黑科技”| “冬奥手语播报数字人”为听障人士提供冬奥播报服务


荔枝新闻北京工作部采访人员/刘辛
人工智能技术发展和应用日新月异 , 正成为推动人类进入智能时代的决定性力量 。 随着2022年北京冬奥会的正式开启 , 一场科技赋能的智慧盛会也展现在了我们眼前 。 近日 , 采用我国首个超大规模智能信息模型和虚拟数字人技术打造的 冬奥手语播报数字人已在北京卫视正式亮相 , 为听障人士提供冬奥手语播报服务 。
播报|聚焦冬奥“黑科技”| “冬奥手语播报数字人”为听障人士提供冬奥播报服务
文章插图

2月9日 , 荔枝新闻采访人员在研发企业了解到 , 本次亮相的冬奥手语播报数字人由北京市科委、中关村管委会支持 , 智谱AI、凌云光和北京广播电视台联合打造 , 清华大学贾珈教授团队和中科院计算所陈益强研究员团队也积极参与了相关关键技术的研究和开发 , 同时得到北京市残疾人联合会和市残联聋人协会的帮助和支持 。 系统以超大规模预训练模型为核心技术 , 自主搭建多模态肢体动作、表情、手指同步采集系统 , 运用跨模态拟人生成算法、超高精度写实数字人等行业领先技术 , 实现冬奥期间赛事新闻的专业手语翻译播报 。
构建国内最大规模多模态手语语料库
据了解 , 《国家通用手语常用词表》和《国家通用盲文方案》于2018年作为语言文字规范正式发布 。 为了推广和普及国家通用手语 , 冬奥手语播报数字人系统完成了《国家通用手语词典》收录的8214条通用手语的采集和录制 , 并且语法都以听障群体习惯打法为准 , 以确保手语播报成果的准确性和专业度 , 更好地服务听障人群 。
由于当前国内缺少较完善的手语语料数据 , 研发人员在北京市残疾人联合会和市残联聋人协会的支持下 , 邀请超过40余位聋人老师及手语专家进行手语文本转写和技术指导 , 并进行大范围听障群体评测 , 最终构建了符合国家通用手语规范的国内最大规模多模态手语语料库 , 词汇及语句总规模超10万 。
打造手语播报智能数字脑
为构建能够理解、翻译语音和手语的智能数字大脑 , 冬奥手语播报数字人系统以超大规模预训练模型为核心技术 , 通过语义蒸馏及手语翻译快编模型 , 实现新闻播报语音蒸馏成语义高度接近的手语文字 , 并翻译成符合手语习惯的语序 。 最终 , 手语数字脑可以通过计算机模仿听障人士的大脑 , 进行手语播报驱动 。                             
播报|聚焦冬奥“黑科技”| “冬奥手语播报数字人”为听障人士提供冬奥播报服务
文章插图

数字人实现高自然度手语动作姿态生成
为实现高精度、高自然度的人物形象和手语动作姿态 , 研发团队还自主搭建了多模态肢体动作、表情、手指同步采集系统 。 通过采集多模态动作捕捉数据 , 运用跨模态拟人生成算法对超写实数字人进行自然、流畅的驱动和渲染 , 实现对文本内容的手语播报 。 其中 , 通过肌肉绑定技术驱动实现面部采集 , 结合业内领先的语音识别及高清视频合成等技术 , 呈现给听障人群亲切自然的冬奥手语播报服务 。
播报|聚焦冬奥“黑科技”| “冬奥手语播报数字人”为听障人士提供冬奥播报服务
文章插图

应用前景广阔 , 让科技更有温度
手语播报数字人的应用场景广泛 , 一方面可以为新闻媒体提供全流程智能化的数字人手语生成服务 , 方便听障人士快速了解新闻简讯;另一方面可将声音广播内容转化为手语 , 为听障人士播报冬奥会赛事赛情、赛场成绩 , 便于获取即时信息 。
冬奥手语播报数字人已于冬奥开幕后 , 每日持续在北京卫视《北京您早》节目中对冬奥赛事集锦和一起看冬奥进行手语播报 , 不仅能为听障人士提供手语信息播报服务 , 降低冬奥运营成本 , 还便捷了听障人士收看赛事专题报道 , 提升他们的社会参与度和幸福感 。 此外 , 手语播报数字人的推广可加速国家通用手语推广落地 , 推动国家通用手语标准普及 , 为残疾人平等参与社会生活创造无障碍环境 , 让科技更有温度 。 更重要的是 , 它体现了北京这座城市对残疾人群体的尊重 , 实现了科技和人文的完美结合 , 也是落实习总书记讲话精神的具体行动 。


以上关于本文的内容,仅作参考!温馨提示:如遇健康、疾病相关的问题,请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容,希望对您有所帮助: