某中心高级应用科学家与合作者因其论文《超越全连接层:用1/n参数实现超复数乘法的参数化》荣获国际学习表征会议(ICLR 2021)杰出论文奖。该研究针对神经网络全连接层参数冗余问题,提出用四元数(四维复数推广)替代传统矩阵乘法,将参数量减少至1/4。
论文进一步扩展至高维超复数系统(如含4个、20个或任意数量虚部),通过数学框架统一描述实数乘法与超复数乘法。该方法允许从数据中学习乘法规则,即使某些超复数在数学上尚未定义,用户仍可基于应用需求灵活指定维度。实验表明,这种平衡参数规模与模型效能的方法对深度学习模型压缩具有重要价值。
获奖论文由七名研究者共同完成,研究成果已在860篇投稿中脱颖而出。会议组委会将于5月5日至6日举办专场报告。