语言翻译准确度分析 chatgpt翻译准确吗

在今天，狂热追捧ChatGPT，仿佛已经成为了一种“政治正确” 。
ChatGPT一出，学界、工业界无不惊为天人。一位研究机构的资深研究员就对AI科技评论说过：“ChatGPT出来，直接给我们整不会了——生成做的比我们好就不说了，NLP（自然语言处理）能力还比我们强不少。”
微软注资百亿美元，谷歌则如临大敌，ChatGPT在科技圈里掀起的巨浪，仍是现在进行时。
但是，ChatGPT并非“万能钥匙”——大模型在某些专业领域的准确度，仍然无法超越其他垂类产品。近日，腾讯AI Lab 就通过实验证明，在机器翻译领域，ChatGPT在某些情况下，能力弱于其他商业翻译产品。

文章插图
1ChatGPT是个好翻译吗？
腾讯AI Lab的调查文指出：
首先，在高资源环境——如欧洲语言上——ChatGPT的表现与商业翻译产品（如谷歌翻译、DeepL Translate）相比具有竞争力，但是，在低资源环境——如古代语言——明显落后；
其次，在翻译的鲁棒性上，ChatGPT在生物医学摘要、或Reddit评论方面表现不如商业翻译产品，但是在口语方面也许会是一个很好的翻译工具。
为了更好地理解ChatGPT的翻译能力，腾讯AI Lab从以下三个方面开展实验：
提示词（Prompt）翻译：ChatGPT是一个大型语言模型，在翻译时需有提示词（Prompt）作为引导才能引导系统进行翻译。所以，提示词的风格会影响翻译输出的质量。例如，在多语言机器翻译模型中，如何将两种语言信息联系起来非常重要，这通常是通过附加语言标记来解决。
多语言翻译：ChatGPT是一个处理各种NLP任务并涵盖不同语言的单一模型，可以被视为一个统一的多语言机器翻译模型。因此，ChatGPT在资源差异（如高与低）和语系差异（如欧洲与亚洲）上的表现是该实验所探讨的重点之一。
翻译鲁棒性：ChatGPT是基于GPT-3开发的模型，GPT-3在涵盖各种领域的大规模数据集进行上训练，因此，在特定领域的表现，是这次研究者们的重点之一。
提示词翻译
为了设计触发ChatGPT机器翻译能力的提示词，腾讯AI Lab团队向ChatGPT提出以下prompt：
提供十个可以让你翻译的简明提示或模版
并获得图1中的结果：

文章插图
图1: ChatGPT推荐的10个可引发其进行机器翻译的prompt
生成的提示语看起来很合理，但是都有相似的格式，研究人员将它们总结成三个候选prompt（如图2），其中[SRC] 和 [TGT] 分别代表翻译的源语言和目标语言。另外，研究人员在Tp2中增加了一个额外命令，要求ChatGPT不要在翻译的句子上加双引号（在原始格式中经常发生）。尽管如此，ChatGPT依旧不稳定，如会将同一批次的多行句子翻译成单行。

文章插图
图2：候选翻译提示
研究人员将三种不同的候选prompt与Flores-101的测试集在汉译英任务中的表现进行比较，图3显示了ChatGPT和其他三个翻译软件的结果。虽然ChatGPT提供了相当好的翻译，但它仍然落后于基线至少5.0个BLEU点。关于三个候选prompt ， Tp3在所有指标方面表现的最好，因此在这篇论文中，研究者默认使用Tp3 。

文章插图
图3：在中译英翻译任务中ChatGPT使用不同提示语的翻译表现对比
多语言翻译

以上关于本文的内容，仅作参考！温馨提示：如遇健康、疾病相关的问题，请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容，希望对您有所帮助：