Transformer 的归一化与正则化

在 IWSLT2017 法英翻译任务上，比较归一化位置、归一化类型、Dropout、预热和权重衰减。

报告日期

2025年11月19日

原报告作者

Pang Liu

报告语言

英文 · 14 页

主要观察

同时观察训练稳定性、BLEU 和翻译样例；原报告指出部分 Pre-LN 输出中的重复词并未被汇总指标充分反映。

范围与限制

BLEU 和验证曲线不能替代对实际译文的检查；结论应限定于报告中的模型和训练条件。