语音交互中的设备定向检测挑战
随着免唤醒词交互模式（如Follow-up Mode）的普及，智能设备需区分用户语音是否指向设备。例如用户询问“明天天气如何？”时，需区分这是对前一句“今天天气怎么样？”的延续，还是电视背景音或儿童嬉闹声。
多模态特征融合方法
传统方案依赖声学模型，但本研究创新性地结合了语义、句法特征与声学置信度特征：
- 语义特征提取：将当前语句与前序语句共同输入模型，使用特殊分隔符（
/ / ）标记对话轮次 - 词嵌入处理：每个词汇被转换为固定长度向量以捕获语义信息
- 声学置信度融合：集成自动语音识别（ASR）系统对转录结果的置信度评分
LSTM网络与注意力机制
- 采用长短期记忆（LSTM）网络处理词序敏感的语义特征
- 引入注意力机制动态加权重要词汇（如实体名称比介词更具判别性）
- 通过迁移学习策略：先在单轮交互数据上预训练，再在多轮对话数据上微调
实验结果
在ICASSP 2020报告中：
- 纯声学基线模型等错误率（EER）为10.6%
- 结合语义特征的LSTM模型将EER降至9.1%（相对提升14%）
- 使用DNN的语义模型因忽略词序导致性能下降（EER达19.2%）
技术拓展
初步半监督学习实验显示：通过模型自动标注未标注数据并迭代训练可进一步提升性能。该技术方向将在后续工作中持续探索。