正文
机器学习（ML）服务背后的模型持续更新，新模型通常比旧模型更准确。但整体准确率的提升仍可能伴随特定场景下的性能倒退（regression）——即准确率下降。这对用户而言可能非常困扰，尤其是当倒退对后续流程产生连锁影响时。例如，虚拟对话代理可能在对话早期对用户请求作出错误响应，从而破坏整个对话体验。
在今年的计算语言学协会（ACL）会议上发表的一篇论文中，我们提出了一种自然语言处理（NLP）领域回归自由的模型更新方法，能够构建不仅准确率更高、还能保留旧模型正确分类结果的新模型。论文包含两部分：模型更新回归现象的研究与缓解方案。
研究关键发现
- 基于BERT的公开基准模型在GLUE框架的7项NLP任务中，更新后1.9%-7.6%的输入案例出现性能倒退，尽管整体性能提升。
- 负翻转率（NFR，即旧模型正确而新模型错误的案例占比）可能比总准确率增益高2-8倍，表明仅追求准确率改进无法自动降低倒退风险。
- 细微变化（如训练随机种子差异）可能导致回归率显著波动。
解决方案：知识蒸馏约束优化
我们将回归问题转化为约束优化问题，并通过知识蒸馏松弛约束：
- 用KL散度度量新旧模型未归一化输出（logits）的差异，替代NFR作为连续指标。
- 联合优化分类损失与蒸馏惩罚项，使新模型在特定上下文中模仿旧模型行为。
实验结果
- 语言模型升级场景（如BERT-base→BERT-large）：蒸馏方法将平均NFR降至2.91%，优于传统更新（4.57%）和集成方法（3.63%），且准确率略高。
- 随机种子变更场景：集成方法表现更优，但通过多模型筛选策略（训练20个不同种子模型并选择NFR最低者）可达到相近效果，且无需并行运行模型。
实际意义
该研究是某机构“优雅AI”计划的一部分，旨在构建透明、可解释且兼容历史版本的ML系统。通过CheckList协议验证，蒸馏方法能普遍减少各类行为测试中的回归，而非仅针对特殊案例优化。
未来将继续探索创新方案，确保用户无需经历痛苦过渡即可享受前沿技术。这项工作呼吁AI社区开发更先进的系统维护方法，构建可持续优化的ML服务。