某中心科学家荣获ICLR杰出论文奖
某中心高级应用科学家与合作者凭借论文《超越全连接层:基于1/n参数的超复数乘法参数化》获得国际学习表征会议(ICLR 2021)杰出论文奖。该研究通过四元数及高维超复数系统,将全连接层参数需求降至传统方法的四分之一甚至更低。
技术突破:超复数参数化
神经网络全连接层通常采用矩阵乘法运算,需要大量参数。研究团队发现:
- 四元数(含三个虚数单位i/j/k)仅需1/4参数即可完成相同运算
- 扩展至高维超复数系统时,参数效率可进一步提升至1/n
- 提出的数学表征框架能统一处理实数与超复数运算
数据驱动的乘法规则学习
传统方法依赖预定义的复数乘法规则,限制了架构灵活性。新方法通过:
- 从数据中自动学习乘法规则
- 支持用户根据应用场景灵活指定超复数维度
- 即使数学上不存在的规则也能通过数据驱动方式发现
实际应用价值
该方法在保持模型效果的同时显著减少参数数量,对资源受限的深度学习部署场景具有重要价值。论文经ICLR委员会从860篇投稿中遴选获奖,将于5月进行专题报告。