深度学习中的约束优化：取代惩罚机制的新范式
近年来，开发具有可问责保证的可信AI系统的努力，导致广泛采用包含外部要求或约束的机器学习公式。这些要求通常通过惩罚化（penalization）来强制执行——即在任务损失中添加固定权重的项。
本文认为这种方法从根本上存在缺陷，因为可能不存在一个惩罚系数能够同时确保约束满足和最优约束性能（即真正解决约束问题）。此外，调整这些系数需要昂贵的试错过程，产生显著的时间和计算开销。
因此，我们倡导更广泛地采用定制化的约束优化方法——例如拉格朗日方法（Lagrangian approach），该方法联合优化惩罚“系数”（即拉格朗日乘数）和模型参数。此类方法具有以下优势：
- 真正解决约束问题并实现可问责性，通过明确定义可行性并验证其实现状态
- 消除大量惩罚调优的需求
- 与现代深度学习流程无缝集成
代码可用性：相关代码已通过https://github.com/example公开提供。
学科分类：机器学习（cs.LG）；优化与控制（math.OC）
版本历史：
- v1：2025年5月27日提交（302 KB）
- v2：2025年7月9日更新（399 KB）
- v3：2025年7月28日当前版本（398 KB）