少样本学习与任务重构
少样本学习旨在通过少量训练示例使机器学习模型适应新任务。在国际声学、语音与信号处理会议(ICASSP)发表的研究中，提出将问答(QA)作为基础任务，通过将自然语言理解(NLU)任务重构为问答形式实现高效知识迁移。
以语音助手的意图分类为例，“播放专辑Innervisions"的意图可重构为"该意图是play_music吗？“的问答形式。研究表明，经过问答训练的模型通过这种重构方式，能更有效地将知识迁移至其他NLU任务。
方法优势与实验验证
提出的QANLU方法在意图分类和槽位标注两项NLU任务中表现突出：
- 相比基线模型获得至少20%的相对性能提升
- 最佳情况下实现65%的性能飞跃
- 连续多任务微调带来显著增益：先对航空旅行数据集(ATIS)微调，再对餐厅领域数据微调时，性能提升从21%跃升至63%
技术实现细节
研究基于两种预训练Transformer模型开展实验：
- DistilBERT：轻量版BERT模型
- ALBERT：通过参数共享优化的BERT变体
对于槽位标注任务（如识别"专辑名称”），将其转化为"提到了什么专辑名？“的问答形式。该方法还展现出反向增强效应：NLU任务训练可能提升原生问答任务性能。
创新价值
与现有研究相比，本工作的核心创新在于系统验证了问答重构对迁移学习的促进作用。通过统一的任务表示形式，使得基于Transformer的预训练模型能更高效地进行多任务知识迁移，为少样本场景下的NLU应用提供了新思路。