摘要

近年来，合成语音技术的进步使得音频深度伪造愈发逼真，带来了严重的安全风险。现有的检测方法通常依赖单一模态，无论是原始波形嵌入还是基于频谱的特征，都容易受到非伪造干扰的影响，并且往往对已知伪造算法过拟合，导致对未知攻击的泛化能力较差。为解决这些缺陷，我们研究了混合融合框架，将基于自监督学习（SSL）的表示与手工制作的频谱描述符（如MFCC、LFCC、CQCC）相结合。通过对齐和融合跨模态的互补信息，这些融合方法能够捕捉到单一特征方法通常忽略的细微伪造痕迹。我们探索了多种融合策略，包括简单拼接、交叉注意力、相互交叉注意力以及可学习的门控机制，以最优方式将SSL特征与细粒度频谱线索融合。我们在四个具有挑战性的公开基准上评估了我们的方法，并报告了泛化性能。所有融合变体均一致优于仅使用SSL的基线，其中交叉注意力策略实现了最佳的泛化性能，相对等错误率（EER）降低了38%。这些结果证实，联合建模波形和频谱视图能够为音频深度伪造检测生成鲁棒的、领域无关的表示。

评论

已接受 WASPAA 2025。

主题

声音（cs.SD）；密码学与安全（cs.CR）；音频与语音处理（eess.AS）

引用

arXiv:2507.20417 [cs.SD]
(或此版本的 arXiv:2507.20417v1 [cs.SD])
https://doi.org/10.48550/arXiv.2507.20417

提交历史

来自：Yassine El Kheir [查看邮箱]
[v1] 2025年7月27日星期日 21:22:27 UTC（1,028 KB）