局部线性恢复保证：深度神经网络在过参数化下的理论突破

摘要

确定深度神经网络（DNN）模型能否在过参数化情况下可靠地恢复目标函数，是深度学习理论中关键而复杂的问题。为推进该领域理解，研究者提出"局部线性恢复"（LLR）概念——这是目标函数恢复的一种较弱形式，使问题更易于理论分析。在LLR意义上，研究证明可由较窄DNN表达的函数，保证能从比模型参数更少的样本中恢复。具体而言，研究建立了给定DNN空间内函数乐观样本量（定义为保证LLR所需的最小样本量）的上限。进一步证明这些上限在两层tanh神经网络情况下得以实现。该研究为未来探索DNN在过参数化场景下的恢复能力奠定了坚实基础。

研究背景

过参数化深度神经网络的理论分析一直是学界关注焦点。传统理论认为参数数量应少于样本量，但实践表明过参数化模型仍能取得优异性能，这一悖论亟待理论解释。

核心贡献

• 提出局部线性恢复（LLR）新概念，降低理论分析复杂度
• 证明较窄神经网络可用更少样本实现函数恢复
• 建立乐观样本量的理论上限
• 在两层tanh网络架构中验证理论结果

理论意义

该研究为理解过参数化DNN的泛化能力提供了新视角，突破了传统理论限制，为后续研究奠定重要基础。

参考文献

[abs][pdf][bib]

© 某机构 2025。