迁移学习何时有效？

迁移学习是一种广泛使用的技术，用于在标注训练数据稀缺时提升神经网络性能。在利用有限数据训练目标任务前，网络会先在数据更丰富的源任务上进行预训练，从而将获得的知识迁移到目标任务中。

新度量方法LEEP的优势

在今年的国际机器学习大会（ICML 2020）上，研究人员提出了一种新的迁移性度量方法LEEP（对数期望经验预测）。实验表明，该指标比现有指标能更准确地预测迁移性。

LEEP具有更广泛的适用性：其理论基础扎实，且不像以往指标那样对源任务和目标任务的相关性提出强假设。通过理论分析表明，LEEP能够提供良好的迁移性估计。

研究人员进行了大量实证测试，在23种不同的迁移场景中比较LEEP与两种主流前驱指标。这些场景结合了三种迁移学习类型、两个图像识别源任务，以及涉及另外两个图像识别任务不同训练数据子集的目标任务。

在23次比较中的15次，LEEP的预测结果与迁移模型最终准确度的相关性优于其他两个指标。在某些情况下，差异显著——相比第二佳指标的改进幅度高达30%。

在元迁移学习场景中，LEEP与模型最终准确度的相关性达到0.591，而其他方法的相关性仅为0.310和0.025。这使LEEP成为首个适用于元迁移学习的迁移性度量方法。

LEEP通过以下步骤计算：

LEEP具有多个潜在应用方向：

该方法为机器学习模型的选择和优化提供了更可靠的理论依据和实践工具。

使用两个不同源数据集和两种迁移方法时，新迁移性度量（LEEP）与迁移模型准确度的相关性