1 of 12

基于掩码标签平滑的机器翻译模型训练方法

——讲者答疑

  • 想与讲者和相关领域的优秀研究人员近距离交流吗？可以！请添加我们的“小A助手”（微信号AITIME_HY），回复关键词“ACL”即可拉您入群，获取本期PPT请于公众号回复“ACL 2022-3”（直播结束后第二天）

04月27日

19点半-20点

AI TIME ACL 2022-3

添加“小A助手”

回复关键词“ACL”入群

关注

“AI TIME论道”

1

2 of 12

Focus on the Target's Vocabulary! �Masked Label Smoothing for Machine Translation

陈亮, 许润昕, 常宝宝

北京大学计算语言学研究所

​

Source Code

arXiv：https://arxiv.org/abs/2203.02889

GitHub：https://github.com/chenllliang/MLS​ 

Email Address： leo.liang.chen@outlook.com

​

基于掩码标签平滑的机器翻译模型训练方法

3 of 12

动机

  • 标签平滑（label smoothing）和词汇共享（vocabulary sharing）是神经机器翻译模型中广泛使用的两个技术
  • 我们发现二者同时使用时会造成性能下降，导致不如单独使用某一技术，根据我们的分析，二者之间存在冲突

​

​

  • 我们提出了一个简单有效的方法，掩码标签平滑，可以克服二者的冲突，将词汇信息引入标签平滑中，提升机器翻译的性能

4 of 12

标签平滑和词汇共享

  • 标签平滑在MT模型训练过程中使用平滑的软标签代替硬标签，将部分目标概率（α）均匀地分配给不正确的标记。它被形式化为：

​

​

  • 词汇共享为训练语料库中的所有语言建立了一个共同的词汇，将它们视为一种语言。它增强了语言之间的语义相关性，并能够对编码器和解码器的embedding进行权重绑定，从而使模型尺寸更小。

​

5 of 12

机器翻译中标签平滑和词汇共享冲突

  • 我们可以使用维恩图来可视化Token之间的关系，如下所示。S、C、T分别代表每个方向上的源词汇、共享词汇和目标词汇。

​

​

​

​

  • 当标签平滑尝试将平滑概率分配给从未出现在目标语言中的标记时，会发生冲突。这将误导模型并解释性能退化。

​

6 of 12

机器翻译中标签平滑和词汇共享的冲突

  • 我们计算了标记在不同翻译方向上的词汇分布，如下所示。Source类中的token可能占很大比例，最高可达50%。

​

  • 同时使用LS和VS可能会导致性能下降。

​

​

​

​

​

​

7 of 12

加权标签平滑 (Weighted Label Smoothing)

  • 不使用统一的标签平滑。
  • WLS采用三个附加参数来重新分配平滑概率。
  • 三个参数的比率表示分配给目标类词汇、公共类词汇和源类词汇的平滑概率的比例，并且三个参数的和为1。

​

原始标签平滑

8 of 12

掩码标签平滑（Masked Label Smoothing）

  • 通过将零概率分配给源端词汇，并将目标和共享词汇视为一个类别，我们现在有了MLS，这是WLS的一个无参数版本。它隐式地向模型注入外部语言知识。

​

9 of 12

实验

  • 7个双语翻译任务。我们选择具有不同共同子词比例的语言对。其中包括de-en，vi-en，ro-en，zh-en。
  • 多语言翻译任务ro，de->en
  • 通过BLEU、chrF和模型校准（ECE评分）进行评估

Kumar, Aviral, and Sunita Sarawagi. "Calibration of encoder decoder models for neural machine translation." arXiv preprint arXiv:1903.00802 (2019).

10 of 12

实验结果（双语和多语）

在BLEU，chrF评分上，在不同的标签平滑α下，MLS在不同的MT方向上比原始的LS+VS有显著的改善。

不仅目标词汇中的概率增加，而且不同语言中的概率分配也很重要。

11 of 12

模型校准与模型困惑度

​

  • 更少的ECE意味着更好的模型校准，这意味着模型既不会对输出过于自信，也不会过于不自信。

​

​

​

  • 在所有实验中，在训练的早期阶段，MLS有比LS低得多的困惑度。
  • 这可能是模型更好的翻译性能的另一个原因，因为它提供了更好的训练初始化。

12 of 12

结论和未来展望

考虑到源语言和目标语言之间的词汇差异，我们提出了一种简单有效的标签平滑方法。更好地将标签平滑与词汇共享相结合，提高了机器翻译的性能。

​

从词汇和语言的角度克服多语言机器翻译中语言之间的平衡问题。

​

ArXiv：https://arxiv.org/abs/2203.02889

Github：https：//github.com/chenllliang/mls.

电子邮件地址：leo.liang.chen@outlook.com

​

源代码