极端多标签分类技术新突破

两篇NeurIPS论文探讨了多标签分类技术,包括标签解耦方法和基于Transformer的快速训练方法,显著提升了分类准确率并大幅降低训练时间。

在近年来的研究中,极端多标签分类(XMC)技术取得了显著进展。XMC框架PECOS通过标签分区技术提升效率:先将标签分组聚类,训练匹配模型将输入分配到聚类,再由排序器从指定组中选择最匹配的标签。

今年神经信息处理系统大会(NeurIPS)展示的两项研究进一步拓展了标签分区框架:

  1. 标签解耦技术
    提出允许同一标签属于多个聚类的创新方法(如"苹果"可同时属于电子产品与水果类别)。通过优化算法动态调整标签聚类分配,在保持效率的同时显著提升分类准确率。实验数据显示,该方法在21项指标中取得最优结果。

  2. 多分辨率Transformer微调
    结合递归线性模型与Transformer架构的XR-Transformer,在Amazon-3M数据集上将训练时间从23天缩短至29小时,准确率反而提升。其核心创新在于:

    • 基于TF-IDF特征构建层级标签树
    • 逐层联合训练Transformer编码器与线性排序器
    • 通过特征拼接重构标签树
    • 在大规模数据集(>50万标签)上全面超越现有方法

技术实现细节:

  • 采用监督学习构建层级树结构
  • 限制每个标签的最大聚类分配数量(1-6个)
  • 通过迭代优化确定最佳标签-聚类映射
  • 结合Transformer嵌入与TF-IDF特征进行联合训练

实验验证:

  • 在6个公开数据集(标签量4k-300万)进行测试
  • 相比11种基线方法,在精确度@1/3/5指标上表现优异
  • 尤其擅长超大规模标签场景(准确率提升显著)
comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计