迁移学习何时有效？

迁移学习是一种广泛使用的技术，用于在标注训练数据稀缺时提升神经网络性能。通常，网络会在数据丰富的源任务上进行预训练，随后将学到的知识迁移到数据有限的目标任务上。

迁移学习何时有效？何时无效？如果进行迁移学习，应选择什么任务进行预训练？这些问题正是迁移性度量指标旨在解答的，它们用于衡量预训练网络对新任务的适用性。

在国际机器学习会议上，提出了一种新的迁移性度量指标LEEP（对数期望经验预测）。实验证明，该指标比现有指标更能准确预测迁移性。LEEP具有更强的通用性：它基于理论分析，且不像以往指标那样对源任务和目标任务的相关性做出强假设。

论文中提供了理论分析，表明LEEP能够良好估计迁移性。同时，进行了大量实证测试，在23种不同的迁移设置中比较了LEEP与两种主流前驱指标。这些设置结合了三种迁移学习类型、两种图像识别源任务，以及涉及两个进一步图像识别任务的不同训练数据子集的目标任务。

在23次比较中的15次，LEEP的预测与迁移模型的最终准确率相关性优于其他两种指标。在某些情况下，差异显著——相较于次优指标提升高达30%。

从下图可以看出，使用两种不同源数据集时，LEEP与迁移模型的最终准确率高度相关。

使用两种不同源数据集和两种迁移方法时，新迁移性度量指标（LEEP）与迁移模型准确率的相关性。一种迁移方法（微调）对整个网络在新任务数据上进行微调；另一种（重训练头部）仅重新训练网络的一部分（头部或分类器）。

其中一项设置涉及元迁移学习，即迁移学习与元学习的结合。在元迁移学习中，单个深度学习模型在训练过程中适应多个新任务，从而学会用极少数据适应未见任务。在该任务上，LEEP与最终模型准确率的相关性为0.591，而其他方法的相关性分别为0.310和0.025。LEEP被认为是首个适用于元迁移学习的迁移性度量指标。

LEEP的计算方法

LEEP衡量已训练的机器学习模型与新任务标注数据集之间的迁移性。例如，假设模型已训练用于识别陆地动物图像，而目标任务是识别海洋动物。

LEEP过程的第一步是使用训练好的模型对目标任务的训练集数据进行分类。得到的分类结果是伪标签：例如，陆地动物分类器可能将海豹识别为狗，将海马识别为长颈鹿。但这对于迁移性预测并不重要。

对于训练集中的每个样本，都有正确标签，因此下一步是计算给定训练模型伪分类的目标任务标签的条件概率——例如，被分类为狗的样本实际上是海豹、海马、鲨鱼等的概率。

最后，假设一个分类器会根据该条件分布为每个输入随机选择一个伪标签，并基于该伪标签随机选择一个目标任务标签。LEEP是该假设分类器在目标任务训练集数据上的平均对数似然。对数似然是衡量统计模型对特定数据样本集合拟合程度的标准指标，因此LEEP告诉我们假设分类器对目标任务训练集的拟合程度。这使得它成为一个易于解释且准确的指标。

LEEP的潜在应用

LEEP有多个潜在应用。首先，它可用于选择迁移学习的源模型。它还有助于为多任务学习选择高度可迁移的任务组，其中单个机器学习模型同时训练多个任务。

LEEP还可用于超参数的迁移和优化，这些超参数是机器学习模型的结构特征或学习算法的参数，有助于最大化特定数据训练的效果。

研究领域
机器学习

标签
迁移学习, 元学习, 超参数优化

会议
ICML 2020

相关出版物
LEEP: A new measure to evaluate transferability of learned representations