少量公开数据使隐私保护AI模型更精准
在计算机视觉应用中，许多模型需使用私有数据训练（如医疗影像分析），但需确保训练后的模型不会泄露特定训练样本信息。差分隐私（DP）可量化机器学习模型可能泄露的私有信息量及防护措施效果。
技术挑战与突破
传统方法通过添加噪声防止数据泄露，但会降低模型准确性。自然语言处理领域已成功采用公私数据混合训练，但计算机视觉领域的类似尝试效果不佳。AdaMix算法通过两阶段训练解决该问题：
- 使用公开数据预训练，确定模型权重的"可行范围"
- 联合训练公私数据优化解决方案，同时确保模型参数保持在可行范围附近
性能提升与理论保障
- 在私有数据任务上优于零样本学习模型
- 相较传统混合数据模型，错误率增加减少60%-70%
- 即使使用极少量公开数据集也能显著提升准确性
- 提供可证明的差分隐私保证
信息传递与遗忘机制
模型训练过程中存在"记忆化"风险：当训练数据包含罕见特征时，模型可能记忆特定图像特征。AdaMix允许模型记忆公开数据集特征以探索参数空间，但对私有数据设置动态信息传递上限，每次训练迭代后更新该上限，确保仅添加必要的隐私保护噪声。
该研究揭示了计算机视觉差分隐私方案需考虑"遗忘"的重要性，为开发更有效的隐私保护方法提供了新思路。