您的当前位置:首页>资讯 > 正文

环球报道:Meta:已开发闽南语AI翻译 解决无文字语言翻译难题

  • 2022-10-21 15:55:33 来源:凤凰网

机器学习翻译系统通常需要大量可标记的语言实例来进行训练,包括书面和口头语言,这正是像闽南语这种没有文字的语言所不具备的。Meta的研究团队利用普通话作为中间语言来建立伪标签,首先将英语(或闽南语)语音翻译成普通话文本,然后再翻译成闽南语(或英语),并将其加入训练数据。

“我们希望最终能够实现多种语言的实时语音到语音翻译。我们相信,无论人们身处何地,口语交流都能将他们聚集在一起——即使是在元宇宙。”

世界上大约7000种已知的语言中,有近一半的语言仍然在被使用,其中40%没有广泛的书写系统。这些没有文字的语言给现代机器学习翻译系统带来了一个独特的问题,因为它们通常需要先将口头语言转换为书面文字,翻译后再将文字还原为语音,但Meta公司10月19日宣布,已经通过其最新的开源语言人工智能(AI)解决了这个问题。


(相关资料图)

作为Meta通用语音翻译器(UST)项目的一部分,Meta 为闽南语建立了第一个AI驱动的语音翻译系统,并在视频中展示了一段闽南语和英语之间的实时翻译。该项目正致力于开发更多实时语音到语音的翻译,以便元宇宙居民更方便地互动。

希望最终能够实现多种语言的实时翻译

机器学习翻译系统通常需要大量可标记的语言实例来进行训练,包括书面和口头语言,这正是像闽南语这种没有文字的语言所不具备的。为了解决这个问题,“我们使用语音到单元翻译(S2UT)将输入的语音直接转换为之前由Meta开创的声学单元序列。”Meta的研究团队在新闻稿中解释说,“然后,我们从这些单元生成波形。此外,UnitY被采用为双通解码机制,第一通解码器生成相关语言(普通话)的文本,第二通解码器创建单元。”

UnitY语音翻译系统的模型架构。图片来源:Meta

“我们利用普通话作为中间语言来建立伪标签,我们首先将英语(或闽南语)语音翻译成普通话文本,然后我们再翻译成闽南语(或英语),并将其加入训练数据。”Meta的研究团队称。目前,该系统允许讲闽南语的人与讲英语的人交谈,尽管很生硬。该模型一次只能翻译一个完整的句子,但扎克伯格相信,这项技术最终可以应用于更多语言,并将改进到提供实时翻译的程度。

Meta宣布,除了从这个项目中获得开源的模型和训练数据外,该公司正在发布首个基于闽南语语料库的语音翻译基准系统,以及语音矩阵(SpeechMatrix),“一个使用Meta的LASER数据挖掘技术的大型语音到语音翻译语料库”,这个系统将使研究人员能够创建他们自己的语音到语音翻译(S2ST)系统。

“我们希望最终能够实现多种语言的实时语音到语音翻译。我们相信,无论人们身处何地,口语交流都能将他们聚集在一起——即使是在元宇宙。”Meta的研究团队在新闻稿中写道,“我们的人工智能研究正在帮助打破物理世界和元宇宙的语言障碍,以鼓励联系和相互理解。我们期待着扩大我研究,并在未来将这项技术带给更多的人。”

挑战:数据收集、翻译评估

Meta还强调了这项技术面临的挑战。研究人员称,收集足够的数据是他们建立闽南语翻译系统时面临的一个重大障碍。“闽南话是一种所谓的低资源语言,这意味着与西班牙语或英语相比,没有大量的训练数据可供利用。此外,英语到闽南语的翻译人员相对较少,这使得收集和注释数据以训练模型变得困难。”Meta的研究团队在新闻稿里写道。所以他们利用普通话作为中间语言来建立伪标签以及人工翻译,这种方法通过利用类似的高资源语言的数据,大大提高了模型的性能。

此外,对于像闽南语这样的口头语言,评估语音翻译也面临挑战。为了能够进行自动评估,他们开发了一个系统,将闽南语转写成一个标准化的语音符号。

建立没有人类标记的语音翻译模型。图片来源:Meta

Meta公司宣称,最近在无监督语音识别(wav2vec-U)和无监督机器翻译(mBART)方面取得的进展,将为未来翻译更多口语的工作提供参考。“我们在无监督学习方面的进展表明,在没有任何人类注释的情况下建立高质量的语音到语音翻译模型是可行的。该系统大大降低了扩大低资源语言覆盖面的要求,因为许多语言根本没有标注的数据。”

标签: meta

推荐阅读

环球报道:Meta:已开发闽南语AI翻译 解决无文字语言翻译难题

机器学习翻译系统通常需要大量可标记的语言实例来进行训练。

资讯推荐:中国新一代人造太阳刷新运行纪录:100万安培 迈出可控核聚变关键步

中国新一代“人造太阳”装置等离子体电流突破100万安培。

焦点速讯:越南电动汽车商VinFast将在巴黎等欧洲三地设办事处 寻求转变为全球性品牌

VinFast表示,公司将在这些国家推出针对当地市场的销售策略。

环球看点!特斯拉累计开放超级充电桩9300多根 未来充电桩建设将继续提速

根据公开消息,现阶段特斯拉主要以V3充电桩为主,最大功率为250kW。

猜您喜欢

【版权及免责声明】凡注明"转载来源"的作品,均转载自其它媒体,转载目的在于传递更多的信息,并不代表本网赞同其观点和对其真实性负责。亚洲科技网倡导尊重与保护知识产权,如发现本站文章存在内容、版权或其它问题,烦请联系。 联系方式:8 86 239 5@qq.com,我们将及时沟通与处理。

业界