多模态表格数据挑战赛促进机器学习创新
背景介绍
某中心在机器学习领域有着大量创新，为了帮助员工推动技术进步，每年都会举办内部机器学习会议（AMLC）。该会议采用与学术会议类似的结构，论文需经过同行评审，录用标准严格。
挑战的起源
某中心以"两个披萨团队"文化著称，这种小团队模式虽然敏捷，但也可能导致工作重复和难以确定最佳科学方法。在评审AMLC论文时，经常遇到不同团队处理相似问题的情况，比如：
- 一个团队致力于在商品目录中查找重复商品
- 另一个团队专注于识别互为变体的产品集合
- 音乐分类团队需要将音轨按流派分类
这些团队都在处理"多模态表格数据的k-way分类"问题，即对具有文本、数值、分类和图像等多种数据类型的项目进行分类。
挑战赛的组织
为了解决这些问题，我们组织了一场"多模态表格数据重大挑战赛"。组织过程包括：
- 从各团队收集和整理k-way分类和匹配数据集
- 召开启动会议，宣布比赛和奖项设置
- 比赛持续四个月，最终在AMLC会议上举办研讨会
技术细节
数据标准化
组委会需要将所有数据按照相同规范进行标准化，所有数据都以.csv和.parquet两种流行格式提供，具有相似的模式。
算法工具
前六名解决方案中有两个大量使用了某机构新的开源自动化机器学习工具包AutoGluon，其中包括一名大奖得主。挑战赛参与者的想法也被反馈到AutoGluon工具包中，特别是在改进处理表格数据集中文本列的能力方面。
成果与影响
- 超过50个团队、100多名参与者积极参与
- 创建的数据集比公共领域的大多数数据集更复杂、更能代表现实问题
- 促进了处理相似问题的不同团队之间更紧密的合作
- 标准化后的数据可用于未来的研究项目
这项挑战赛不仅推动了技术进步，还加强了科学社区的合作精神，为处理复杂多模态数据分类问题提供了宝贵经验。