有效利用低秩自适应对视觉变换器进行微调以实现隐私保护的图像分类

我们提出了一种低秩自适应方法，用于训练隐私保护的视觉变换器（ViT）模型，该方法能有效冻结预训练的ViT模型权重。在所提出的方法中，可训练的秩分解矩阵被注入到ViT架构的每一层中，此外，与传统的低秩自适应方法不同，补丁嵌入层不会被冻结。所提出的方法不仅能够减少可训练参数的数量，还能保持与全时微调几乎相同的准确性。

评论： 3页，3图，会议论文

主题： 密码学与安全（cs.CR）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）