四元数突破全连接层参数限制获顶会论文奖

某中心科学家因提出超复数乘法参数化方法荣获ICLR杰出论文奖,该方法通过四元数及高维超复数将全连接层参数减少至1/n,在保持模型效果的同时显著提升深度学习模型效率。

某中心高级应用科学家与合作者因其论文《超越全连接层:用1/n参数实现超复数乘法的参数化》荣获国际学习表征会议(ICLR 2021)杰出论文奖。该研究针对神经网络全连接层参数冗余问题,提出用四元数(四维复数推广)替代传统矩阵乘法,将参数量减少至1/4。

论文进一步扩展至高维超复数系统(如含4个、20个或任意数量虚部),通过数学框架统一描述实数乘法与超复数乘法。该方法允许从数据中学习乘法规则,即使某些超复数在数学上尚未定义,用户仍可基于应用需求灵活指定维度。实验表明,这种平衡参数规模与模型效能的方法对深度学习模型压缩具有重要价值。

获奖论文由七名研究者共同完成,研究成果已在860篇投稿中脱颖而出。会议组委会将于5月5日至6日举办专场报告。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计