动态仲裁与多技能匹配挑战
某语音助手目前已拥有超过10万项技能。为提升用户体验，某机构采用动态仲裁技术，使用户无需记忆特定技能名称即可通过自然请求调用功能。例如"播放大象声音"的请求可能同时被AnimalSounds、AnimalNoises等多个技能处理。
传统标注方法的局限性
传统单标签标注方式（每个语句仅标注一个技能）难以应对多技能匹配场景。而人工进行多标签标注面临两大挑战：
- 需要标注人员熟悉全部10万+技能的详细功能
- 技能库持续更新导致标注数据快速过期
三重技术解决方案
在ICASSP 2020会议上提出的方法包含三个核心技术：
1. 伪标签生成
- 使用训练后的动态仲裁系统为语句分配技能
- 将高置信度的技能分配作为附加标签（伪标签）
- 实验显示设置p=2（ top2标签）和r=4（连续4个周期）时效果最佳
2. 负反馈学习
- 将错误分类实例（如技能返回"我不知道"的情况）作为负样本
- 在微调过程中对高置信度选择负样本标签的行为进行惩罚
3. 自蒸馏技术
- 收集系统对训练集所有样本的分类统计信息
- 将这些统计信息与训练样本一起输入到下一训练周期
- 防止系统对少数强相关样本过度拟合
系统架构与性能提升
动态仲裁系统包含两个核心组件：
- Shortlister：生成候选技能短列表
- 假设重排序器(HypRank)：基于用户账户设置和对话上下文精确排序候选技能
实验表明，三重技术组合使动态仲裁系统的F1分数提升1.25%。值得注意的是，伪标签对HypRank的性能提升效果优于Shortlister，因为多标签训练增加了Shortlister输出中包含至少一个正确标签的概率，从而为HypRank提供更多有效训练样本。
未来研究方向
未来将探索：
- 自蒸馏与伪标签技术的深层关系
- 将伪标签、负反馈学习和自蒸馏与标准半监督学习相结合
- 使用训练网络自动标注未标注样本并重新训练网络的闭环优化方案
相关论文：《Pseudo Labeling and Negative Feedback Learning for Large-scale Multi-label Domain Classification》