大规模深度学习中的差分隐私技术

深度学习模型依赖数据驱动，而这些数据可能包含需要隐私保护的敏感信息。差分隐私（DP）是一个确保数据集个体隐私的正式框架，使得攻击者无法判断特定数据样本是否被用于训练机器学习模型。在深度学习中应用DP通常意味着限制每个训练样本对模型参数调整的贡献，这种方法被称为逐样本梯度剪裁。

然而，逐样本梯度剪裁会显著增加深度学习的时间消耗，阻碍了大型DP模型的开发——例如具有数十亿参数的GPT语言模型级别。

自动剪裁技术

在首篇论文《自动剪裁：使差分隐私深度学习更简单更强大》中，我们提出了一种自动方法，将梯度剪裁过程的调优效率提升了一个数量级（约5-10倍）。传统梯度剪裁需要进行昂贵的消融研究来选择剪裁阈值，而我们的方法使用归一化技术，完全消除了剪裁阈值的调优需求。

深度学习过程包含一个可调超参数——学习率，它决定模型权重在更新时的变化程度。逐样本梯度剪裁阈值类似，但它在每个样本基础上施加限制。现有DP训练方法需要同时调优剪裁阈值和学习率，如果评估K个不同剪裁阈值，会使模型超参数调优阶段成本增加K倍。

通过使用梯度归一化替代逐样本梯度剪裁，自动剪裁技术：（1）消除了剪裁阈值；（2）放大了未被剪裁的小梯度；（3）可证明地优化了性能。配备自动剪裁后，DP随机梯度下降优化算法（DP-SGD）即使在不凸优化设置下，也具有与标准（非DP）SGD相同的渐近收敛速率。

在多个计算机视觉和语言任务上的实验表明，自动剪裁可以在不牺牲训练效率或隐私保证的前提下，实现与逐样本剪裁方法相媲美的先进DP准确率。

在第二篇获得最佳论文奖的《基础模型的差分隐私偏置项微调》中，我们提出了BiTFiT方法，这是一种在DP学习中实现参数高效微调的方法。

神经网络通常有两种参数：权重（占参数99%以上，捕获训练数据大部分信息）和偏置（偏移模型输出）。我们证明，仅私有微调偏置项就足以在DP约束下实现高准确率，使DP学习速度提升2-30倍，内存使用减少50%-88%，分布式环境中通信成本仅为原来的1/1000。

DP-BiTFiT具有三大优势：

实证研究表明，从DP全微调切换到DP-BiTFiT可显著提升效率，同时在GPT-2-large、ResNet 152等大型基础模型上保持先进准确率。例如在GPT-2上观察到4-10倍加速和2-10倍内存节省。

这两项技术共同使得以参数高效方式微调DP-GPT-2的效率与标准GPT-2微调相当。相关方法已公开提供，鼓励研究人员实验并受益于更快速的DP深度学习。