在近年来的研究中,极端多标签分类(XMC)技术取得了显著进展。XMC框架PECOS通过标签分区技术提升效率:先将标签分组聚类,训练匹配模型将输入分配到聚类,再由排序器从指定组中选择最匹配的标签。
今年神经信息处理系统大会(NeurIPS)展示的两项研究进一步拓展了标签分区框架:
-
标签解耦技术
提出允许同一标签属于多个聚类的创新方法(如"苹果"可同时属于电子产品与水果类别)。通过优化算法动态调整标签聚类分配,在保持效率的同时显著提升分类准确率。实验数据显示,该方法在21项指标中取得最优结果。 -
多分辨率Transformer微调
结合递归线性模型与Transformer架构的XR-Transformer,在Amazon-3M数据集上将训练时间从23天缩短至29小时,准确率反而提升。其核心创新在于:- 基于TF-IDF特征构建层级标签树
- 逐层联合训练Transformer编码器与线性排序器
- 通过特征拼接重构标签树
- 在大规模数据集(>50万标签)上全面超越现有方法
技术实现细节:
- 采用监督学习构建层级树结构
- 限制每个标签的最大聚类分配数量(1-6个)
- 通过迭代优化确定最佳标签-聚类映射
- 结合Transformer嵌入与TF-IDF特征进行联合训练
实验验证:
- 在6个公开数据集(标签量4k-300万)进行测试
- 相比11种基线方法,在精确度@1/3/5指标上表现优异
- 尤其擅长超大规模标签场景(准确率提升显著)