机器翻译模型的脆弱性挑战
神经机器翻译(NMT)虽然通过大规模参数模型实现了质量突破，但其输出对输入微小变化异常敏感。例如：(a)拼写错误会改变翻译结果；(b)训练时随机种子的变化会导致不同输出。这种脆弱性在生成任务中尚未被充分研究。
伪标签训练提升模型惯性
在国际学习表征会议(ICLR)的研究中，发现伪标签训练(PLT)能显著改善以下三方面特性（统称为模型惯性）：
- 输入扰动鲁棒性：在字符替换和语法错误测试中，PLT模型输出一致性提升20%
- 随机种子稳定性：仅改变随机种子时，PLT使完全匹配(EM)的片段数量翻倍
- 更新抗回退性：在定向错误类别（如性别翻译）评估中，PLT减少30%的负翻转
关键实验发现
| 测试维度 | 基线模型 | PLT模型改进幅度 |
|---|---|---|
| 输入扰动一致性 | 62% | +20% |
| 随机种子稳定性 | 8% EM | 15% EM |
| 质量回退片段比例 | 22% | 降至15% |
分布简化效应假说
通过条件熵测量发现，PLT通过简化训练数据分布实现稳定性提升。对比实验显示，该方法效果优于BPE-Dropout和反向翻译等传统技术。这种机制可能适用于其他生成任务。
实际应用价值
随着大模型在生成任务中的普及，控制输出稳定性变得至关重要。该研究为构建可持续进化的AI系统提供了新思路，特别是在需要长期稳定输出的商业翻译场景中。