科技日报记者 张梦然
《自然》5日发表的一篇论文报道了一个Meta人工智能(AI)模型的底层技术。该模型能翻译200种不同语言,增加了机器翻译的语言数量。
神经机器翻译模型利用人工神经网络翻译各种语言。这些模型通常需要大量可在线获取的数据加以训练,但并非所有语言数据都是公开、低成本或是普遍可及的,这类语言被称为低资源语言。一味的增加模型翻译语言数量,可能会影响模型的翻译质量。
此次,Meta的法国研究团队和“不落下任何语言”(NLLB)团队开发了一种跨语言技术,能让神经机器翻译模型学习如何利用翻译高资源语言的预存能力,实现对低资源语言的翻译。研究团队开发了一个在线多语言翻译工具,名为“NLLB-200”。该工具能容纳200种语言,其低资源语言数量是高资源语言数量的3倍,翻译表现则比当今已有系统高44%。
由于团队在许多低资源语言上只能获取1000—2000例样本,为了扩大“NLLB-200”的训练数据量,他们用一个语言识别系统发现了这些特定语言的更多实例。团队还从互联网存档中挖掘双语文本数据,帮助提升其翻译质量。
研究团队指出,这个工具可以帮助很少被翻译的那些语言的使用者,让他们也能用上互联网和其他技术。此外教育是一个非常重要的应用,因为这个模型可以帮助低资源语言使用者获取更多图书和研究文章。但团队也表示,目前误译的情况仍有可能出现。