某中心科学家荣获ICLR杰出论文奖

某中心云服务部门高级应用科学家与合作者近日荣获国际学习表征会议（ICLR 2021）杰出论文奖，该会议专注于深度学习领域的前沿进展。

获奖论文《超越全连接层：使用1/n参数实现超复数乘法的参数化方法》由某中心科学家张 Aston 与南洋理工大学、苏黎世联邦理工学院和蒙特利尔大学的六位研究人员共同完成。

神经网络中常包含全连接层，其中一层的每个节点都与下一层的所有节点相连。全连接层的操作通常被建模为矩阵乘法。最近的研究表明，通过使用四元数（复数的四维推广）可以减少表示全连接层所需的参数数量。复数结合了实数和虚数i（-1的平方根），而四元数则结合了实数和三个虚数i、j和k。

由于具有四个分量，四元数仅需要四分之一参数即可表示全连接层的操作。该论文进一步将这一概念扩展到更高维的超复数——具有四个虚部分量、20个，甚至任意数量——从而更大程度地减少参数数量。

在开发能够捕捉任意超复数操作的数学表示时，研究团队发现同一表示也能涵盖实数操作（如矩阵乘法）。他们找到了一种将任意超复数和实数统一描述的方法。

“论文审稿人帮助我们改进了研究，”张 Aston 表示，“他们建议我们探索如何在不同空间（如人工数据集）中经验性地学习预定义的乘法规则。这些预定义的四元数或实数系统中存在乘法规则，但仅依赖这些规则可能会限制深度学习的架构灵活性。”

“通过从数据中学习乘法规则，用户可以基于自身应用灵活指定或调整超复数的维度，即使这些数字或规则在数学上并不存在。”

张 Aston 在某中心正参与完成《深入深度学习》一书，与另外三位主要作者共同撰写。

会议组织者指出，今年共收到860篇论文投稿，其中部分被提交至杰出论文委员会评审。八篇获奖论文将于5月5日和6日在杰出论文专场进行展示。