在NeurIPS大会上，经典议题焕发新生
哥伦比亚大学教授兼某中心学者Richard Zemel作为NeurIPS咨询委员会成员，就鲁棒性与负责任AI的共通点、神经科学对AI的启示以及新兴研究方向分享见解。
深度学习的演进与挑战
当前大型语言模型的热潮仅是2012年（或2010年）深度学习革命的最新余波。Zemel指出：“从某些意义上说，深度学习在问题相关性和实际应用范围方面已取得长足进步，但许多固有问题依然存在，只是呈现出更多维度。”
以鲁棒性为例——即机器学习模型在推理时遇到与训练数据不同的数据时保持性能的能力。Zemel回顾道：“上世纪80年代末的ALVINN（自动驾驶神经网络）仅含29个隐藏单元，当时已通过数据增强技术解决车辆偏离道路的鲁棒性问题。三十年后，数据增强仍是确保鲁棒性的主要方法，但问题已呈现新维度。”
算法公平与生成式AI的挑战
Zemel提出：“算法公平可视为鲁棒性的一种形式，即针对特定群体的鲁棒性。许多用于实现公平的方法与鲁棒性方法相互借鉴，例如开发具有不变性属性的预测或表示。”
在生成式AI时代，评估鲁棒性变得更为复杂。传统分类器可通过置信度指标衡量鲁棒性，但生成式模型输出语句时，“不确定性”概念需要重新定义。构建稳健、可信赖的负责任系统面临更大挑战。
神经科学的持续启示
尽管NeurIPS大会的工程导向日益突出，但神经科学始终提供着灵感源泉。Zemel指出：“当前生成式AI常用的Transformer模型，其核心注意力机制植根于认知科学和神经科学。十年前我们在图像描述研究中已应用空间注意力机制，当系统生成描述文本时，可观察到其关注的图像区域。”
近年来，计算机科学家对神经科学的兴趣再度升温。Zemel认为：“随着系统规模扩大和数据效率要求提高，大脑在不同尺度上的结构特征——如功能各异的神经元类型、短期与长期记忆的分离——可能为改进神经网络架构提供重要借鉴。”
新兴前沿领域
Zemel特别关注两个研究方向：
- 机械可解释性：理解并影响系统内部运行机制，通过精准修改网络行为验证认知深度
- 归纳偏置集成：通过融入逻辑、概率等结构化知识，提升系统数据效率和能源效率
Zemel总结道：“目前仍有大量开放性问题亟待解决，这正是从事该领域研究的绝佳时机。”