ICASSP：信号处理的新内涵

国际声学、语音与信号处理会议（ICASSP）今年迎来第45届，根据某学术搜索引擎的排名，它是信号处理领域影响力最高的会议。随着语音相关技术的成熟，信号处理的定义也在不断扩展。

某中心首席科学家Ariya Rastrow表示：“ICASSP包含多个不同的技术轨道，涵盖了从底层信号处理到语义解析和自然语言理解的完整技术栈。”

人机音频处理的共通性

Rastrow解释说，这种多样性反映了人类音频处理系统的特点。大脑不仅依赖声学信号来识别词语，计算机系统也应如此。

“从人类视角看，语言与声学的互动非常动态。在安静环境中，我们能在声学层面保持高分辨率处理；但在嘈杂酒吧中，人类会更多依赖先验知识——语义层面上对方可能说什么、谈论什么话题——以此来增强识别能力。”

传统语音理解架构

传统口语理解任务分为两个组件：自动语音识别（ASR）将声学语音信号转换为文本，自然语言理解（NLU）则对文本进行语义解析。

实际上，语音识别通常依赖更高层次的语言特征来识别词语。传统ASR系统包含：声学模型（将声学信号转换为底层音素表示）、词典（将音素序列映射到词语）和语言模型（使用词语共现的高层统计信息来裁决声学信号的不同解释）。

端到端训练的兴起

近年来，这种方法开始让位于基于神经网络的大型架构的端到端训练。即单个神经网络在由声学输入和完整转录输出组成的示例上进行训练，直接学习以往编码在ASR系统各独立组件中的关系。

这种联合训练方法具有多重优势：通过联合训练构建的系统在准确性方面更加优化；不同系统组件可以依赖相同类型的表示或共享网络层，从而实现系统整体压缩、执行加速，并有机会在低资源设备和硬件上部署此类系统。

全集成系统的前景

让单个大型模型集成ASR系统的底层声学信号处理和高层语言建模，为利用更高层次的语言特征提供了可能。例如，在某中心今年在ICASSP上发表的一篇论文中，研究人员报告使用语义特征来帮助区分针对语音助手和非针对语音助手的语句，而过去的“设备定向”检测器仅依赖声学特征。

这种集成的最终目标将是执行整个口语理解任务（包括ASR和NLU）的单一神经网络。研究表明，至少对于部分交互场景，可以构建直接將音频转换到语义层面的小型网络，从而获得更好的延迟性能，无需进行分阶段执行。

面临的挑战

然而挑战依然存在：这些全神经网络系统依赖大量数据。当接近理解层时，必须应对数据稀疏性和独特交互的细微差别。在声学层面，对于

音素，即使跨语言也能获得大量示例，但随着接近语义和句子级理解，模式变得更加独特。

当前的研究挑战包括：如何将这些直接音频到NLU的新架构与半监督学习和无监督学习的进展相结合；如何将数据驱动的学习系统与某种推理或逻辑相结合。例如处理否定逻辑的问题，传统上可以通过规则和逻辑推理来解决，但仅依赖数据可能无法很好地表示这些独特模式。未来两三年研究的关键问题将是如何将这些系统与半监督或无监督学习相结合，以及如何将它们与知识和逻辑相结合。