迁移学习何时有效？

迁移学习是一种广泛使用的技术，用于在标注训练数据稀缺时提升神经网络性能。在网络使用有限数据训练目标任务之前，可能会在数据更丰富的源任务上进行预训练。从预训练中获得的知识随后将被迁移到目标任务中。

迁移学习何时有效？何时无效？如果进行迁移学习，应该选择什么任务进行预训练？回答这些相关问题正是迁移性度量标准的目标，这些标准衡量预训练网络对新任务的适用性。

在某国际机器学习会议上，研究人员提出了一种新的迁移性度量标准，在实验中证明其比现有标准能更好地预测迁移性。该标准也比现有标准更通用：具有理论基础，且不像先前度量标准那样对源任务和目标任务的相关性做出强假设。

在论文中，理论分析表明该度量标准——称为LEEP（对数期望经验预测）——应能提供良好的迁移性估计。

研究人员还进行了一系列实证测试，在23种不同的迁移设置中比较了新标准与两个主要 predecessors 的表现。这些设置结合了三种迁移学习类型、两个图像识别源任务，以及涉及两个进一步图像识别任务训练数据不同子集的目标任务。

在23次比较中的15次，LEEP的预测与迁移模型的最终准确性的相关性优于其他两个度量标准。在某些情况下，差异显著——相比第二佳标准提升高达30%。

从下图可以看出，使用两个不同源数据集时，LEEP与迁移模型的最终准确性相关性非常好。

使用两个不同源数据集和两种迁移方法时，新迁移性度量标准（LEEP）与迁移模型准确性的相关性。一种迁移方法（微调）是整个网络在新任务数据上微调；另一种（重训练头部）是仅部分网络（头部或分类器）被重新训练。

LEEP如何计算？

LEEP衡量训练好的机器学习模型与新任务标注数据集之间的迁移性。例如，假设模型已训练用于识别陆地动物图像，而目标任务是识别海洋动物。

LEEP过程的第一步是使用训练好的模型对目标任务的训练集数据进行分类。得到的分类是虚拟标签：例如，陆地动物分类器可能将海豹识别为狗，将海马识别为长颈鹿。但这对于迁移性预测目的并不重要。

对于训练集中的每个样本，都有正确标签，因此下一步是计算给定训练模型虚拟分类的目标任务标签的条件概率——例如，被分类为狗的样本实际上是海豹、海马、鲨鱼等的概率。

最后，想象一个分类器，根据该条件分布为每个输入随机选择一个虚拟标签，并基于该虚拟标签随机选择一个目标任务标签。

LEEP是该假设分类器在目标任务训练集数据上的平均对数似然。对数似然是衡量统计模型拟合特定数据样本集合程度的标准指标，因此LEEP告诉我们假设分类器拟合目标任务训练集的程度。这使其成为一个易于解释且准确的度量标准。

研究人员认为LEEP有多个潜在应用：

首先，它可用于选择迁移学习的源模型。它还可以帮助选择高度可迁移的任务组进行多任务学习，即在多个任务上同时训练单个机器学习模型。

LEEP也可能有助于超参数的迁移和优化，这些是机器学习模型的结构特征或学习算法的参数，有助于最大化特定数据训练的效果。