极端多标签分类技术新突破

在神经信息处理系统大会（NeurIPS）上发布的两篇论文深入研究了极端多标签分类（XMC）技术，该技术专注于将同一标签分配给多个类别，并实现了基于Transformer模型的快速训练。

技术背景

近年来，研究团队已发表多篇关于极端多标签分类的论文，该技术旨在候选标签数量极大时对输入数据进行分类。今年初，团队开源了自研的XMC框架PECOS，该框架通过标签分区提升效率：首先将标签分组为簇，训练匹配模型将输入分配至簇，再训练排序器从指定组中选择具体标签。

技术创新

标签解纠缠方法

在《基于分区的极端多标签分类中的标签解纠缠》一文中，研究团队解决了同一标签属于多个簇的情况（如"苹果"可能同时属于电子设备簇和水果簇）。该方法通过监督学习构建分层树结构，将标签动态分配至多个簇，在保证效率的同时提升分类准确率。实验显示，该方法在四个数据集的六项指标中，21项取得最优成绩。

多分辨率Transformer微调

《极端多标签文本分类的快速多分辨率Transformer微调》提出XR-Transformer模型，将递归线性匹配与Transformer架构相结合。在包含300万产品类别的基准数据集上，训练时间从23天缩短至29小时，且准确率显著提升。该模型通过分层训练Transformer编码器和线性排序器，最终在超大规模数据集上全面超越现有方法。

技术实现细节

• 使用TF-IDF特征构建初始分层标签树
• 逐层联合训练Transformer编码器和线性排序器
• 通过特征拼接优化标签树结构
• 支持4000至300万标签规模的数据集

性能表现

在六个公开数据集测试中，XR-Transformer在超大规模数据集（标签数≥50万）的所有评估指标（P@1、P@3、P@5）上均取得显著优势。该方法为处理极端多标签分类问题提供了新的技术范式。