四元数压缩深度学习参数获ICLR大奖

某中心科学家因提出超复数乘法参数化方法荣获ICLR杰出论文奖,该方法仅需1/n参数即可实现全连接层运算,显著提升深度学习模型效率并降低计算资源需求。

某中心科学家荣获ICLR杰出论文奖

某中心高级应用科学家与合作者凭借论文《超越全连接层:基于1/n参数的超复数乘法参数化》获得国际学习表征会议(ICLR 2021)杰出论文奖。该研究通过四元数及高维超复数系统,将全连接层参数需求降至传统方法的四分之一甚至更低。

技术突破:超复数参数化

神经网络全连接层通常采用矩阵乘法运算,需要大量参数。研究团队发现:

  • 四元数(含三个虚数单位i/j/k)仅需1/4参数即可完成相同运算
  • 扩展至高维超复数系统时,参数效率可进一步提升至1/n
  • 提出的数学表征框架能统一处理实数与超复数运算

数据驱动的乘法规则学习

传统方法依赖预定义的复数乘法规则,限制了架构灵活性。新方法通过:

  • 从数据中自动学习乘法规则
  • 支持用户根据应用场景灵活指定超复数维度
  • 即使数学上不存在的规则也能通过数据驱动方式发现

实际应用价值

该方法在保持模型效果的同时显著减少参数数量,对资源受限的深度学习部署场景具有重要价值。论文经ICLR委员会从860篇投稿中遴选获奖,将于5月进行专题报告。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计