ICLR：帮助重新定义人工智能领域的AI会议

某机构的Stefano Soatto探讨学习表示如何主导机器学习领域。

国际学习表示会议（ICLR）今年将以虚拟形式举行，虽然仅创办八年，但根据某学术机构对AI领域高影响力出版场所的排名，它仅次于极受欢迎的NeurIPS会议。

“对于一个年轻会议来说，这相当令人印象深刻，“某中心AWS人工智能应用应用科学总监Stefano Soatto表示，“ICLR最初是一个小众会议，但已成为主流。它专门关注学习表示——这些数据函数经过设计或学习以解决特定任务。由于强大的数据表示通过深度学习的出现变得如此核心，ICLR与其他AI会议之间的差异已经缩小。”

从专业领域知识到神经网络

Soatto解释说，最初开发数据表示需要相关领域的专业知识。以尺度不变特征变换（SIFT）为例，它产生的视觉特征表示对尺度具有不变性。

“SIFT来自两个根基深厚的学科：谐波分析和小波、滤波器组、多尺度傅里叶分析等文献，以及计算神经科学。SIFT是神经科学和谐波分析思想的合理实现总结，确实需要特定的领域知识。”

“但随后神经网络出现，通过线性代数和优化的相对简单操作，突然可以获得最先进的结果。这确实改变了游戏规则。”

当前研究重点：元学习与迁移学习

在某中心提交ICLR的四篇论文中，两篇关注元学习（学习如何学习），另外两篇关注迁移学习（通过在数据丰富的相关领域预训练来提高网络在数据稀疏领域的性能）。这些研究都涉及使机器学习系统适应新任务。

Soatto指出：“如果你问’给定特定数据集和任务，可以构建的最佳表示是什么？‘我们在理论和实践上都有很好的掌握。剩下的挑战是两个互补问题：一是’给定任务，我能获得的最佳数据是什么？‘这是主动学习问题；二是当你想将针对特定学习任务训练的模型用于不同任务时，这是迁移学习和领域适应问题。”

对基准测试的反思

论文《小样本图像分类基线》指出了学术研究与实际研究之间的差距。Soatto解释说：“小样本学习领域存在一些基准数据集，但有时这些基准不利于进步，因为它们激励人们针对基准开发算法。”

“当我们开始研究小样本学习时，注意到基准非常奇怪，它们强制你选择使用多少图像进行训练：要么一张要么五张。但实际服务中，用户可能带来任意数量的图像。”

“令我们惊讶的是，这个简单基线击败了所有顶级算法。论文并非说这是解决小样本学习的方法，而是指出我们需要重新思考评估小样本学习的方式。”

行业与学术的协同

Soatto总结道：“我们正处于历史上行业引领学术的时期，行业定义的问题不会仅仅通过坐在办公室里思考酷炫的研究主题而出现。这些论文提供了一些例子，但还有更多其他案例。”