zh

数据解决方案

请填写姓名

手机号码格式错误

请填写手机号码

请填写公司全称

请填写企业邮箱

需求描述不能为空

提交成功!感谢您支持数据堂。

填写格式错误请重新填写

确定

需求描述格式错误且最少输入5个字符

暂无数据

语音合成

首页>新闻列表>冬奥AI手语主播亮相,助力人工智能技术助力跨越声音障碍

冬奥AI手语主播亮相,助力人工智能技术助力跨越声音障碍

来源:数据堂2021-12-07

万众期盼的2022年北京冬奥会即将举行,这是中国历史上第一次举办冬季奥运会。在关注冬奥会的观众中,有一个特殊的群体,他们听不到赛场的声音,但他们关注着冬奥赛事,希望了解比赛动态,渴望感受比赛的激情,全球约4.3亿人有中度及以上程度的听力障碍,根据全国第二次残疾人抽样调查数据,中国有听障人士2780万。


用技术跨越声音障碍  


“从北京冬奥会开始,我将全年无休用AI智慧为听障用户提供手语服务,让他们快捷的获取比赛资讯!”



11月24日,央视新闻推出的央视总台首个AI手语主播正式亮相——她有着真人般的皮肤、头发、眼睛,形象亲切自然,气质优雅独特,从表情、口型、毛发、服饰身形五大维度打造3D高精超写实的数字人AI模型,也让AI驱动的数字人表情则更加亲切自然。



据介绍,AI手语主播采用语音识别、机器翻译等人工智能技术,构建了一套复杂而精确的手语翻译引擎,可实现由文字及音视频内容到手语的翻译,再通过专门为手语优化研发的自然动作引擎,进行虚拟形象的驱动。这些技术使得AI手语主播具备高可懂度的手语表达能力和精准连贯的手语呈现效果。


此次央视AI手语主播的亮相,是人工智能对人类的反哺,是一个科技发展带来的温情脉脉的时刻,人工智能发展越来越快,也越来越有温度了。


为了能让更多的AI主播为更好的特殊群体服务,身为全球领先的人工智能数据服务商,数据堂义不容辞,我们量身定制了一系列数据集,可快速提高AI主播的表达能力,助力人工智能反哺人类。


手语手势数据集  


AI主播想要准确、自然的表现手语,光是学习《国家通用手语词典》是远远不够时,《国家通用手语词典》只能提供正确的手语手势,要想让AI主播摆脱机械感,更加接近真人的手语表达,那么,AI主播还需要学习更多真人的手语手势。


手语手势识别数据集



该数据集包括多种场景、40余种静态手势、近百种动态手势、多种拍摄角度和多种光照条件 ,标注21关键点、手势类别标注、手势属性标准确率95%以上,该数据可用于手势识别,手语翻译等任务。



唇型同步多模态数据集 


除了手语要准确,唇型也得要准确,AI主播如果不针对性的进行唇型同步的学习,在正式进行新闻播报的时候,会出现唇型和声音匹配不上的问题,为了解决这个难题,数据堂采集了行业领先的唇型同步多模态数据集,可快速调高AI主播唇型准确率,实现声音与画面的精准匹配。


唇型同步多模态数据集


近500人参与录制语音以及相匹配的唇语视频,多设备同步录制,通过脉冲信号进行精准对齐,准确性高。可用于语音图像领域的多模态学习算法研究。


TTS语音合成数据集  


AI主播合成的语音如果更接近真人且感情表达丰富,那么观众会觉得这不是一个冷冰冰的机器,而是一个有感情的“人”,会更容易接受AI主播的存在,让观众的注意力从AI主播身上,转到新闻内容上。


中文女声情感合成库


‍‍由中文母语发音人录制,六种情感文本,语料音素覆盖均衡,专业语音学家参与标注,字准确率不低于99.9%,句准确率不低于99%,句准确率不低于98%,精准匹配语音合成的研发需求‍‍


随着AI技术的更迭和进化,3D虚拟场景不断拓展,AI主播的工作空间会更大,也许不久AI主播会走出演播室,在不同场景中更好地满足新闻呈现多样化的需求,实现科技改变生活,技术反哺人类。


口音英语语音识别技术研讨会暨挑战赛-数据堂