大语言模型的扩展挑战
当前大语言模型的能力与其规模直接相关，但模型扩展导致内存占用和计算需求激增，使得训练和部署仅适用于超大规模数据中心。为此，研究者主要探索两种优化方法：
- 参数共享技术：通过跨层复用权重减少参数量，例如"层绑定"技术
- 自适应计算：根据输入复杂度动态分配计算资源，例如"早期退出"机制
混合递归架构原理
MoR框架融合递归Transformer与动态路由机制：
- 递归块设计：将模型划分为参数共享的递归块，通过重复调用实现深层计算
- 轻量级路由：类似混合专家模型(MoE)的路由机制，为每个token动态分配递归深度
- 高效KV缓存：采用递归感知的KV缓存策略，仅存储活跃token的键值对，降低内存压力
性能验证
在1.35亿至17亿参数规模的测试中：
- 相同计算预算下，MoR模型较基线准确率提升0.8%（43.1% vs 42.3%）
- 参数量减少近50%的同时，训练时间缩短19%，峰值内存降低25%
- 最大实现2.06倍推理加速，360M以上参数模型性能全面超越标准Transformer
企业应用路径
- 增量训练：支持对现有开源模型进行低成本改造
- 多模态扩展：架构可适配视频、音频等复杂数据类型
- 参数调优：开发者可通过调整递归步数平衡性能与效率
该技术为降低大模型计算开销提供了有效路径，其论文已发布于arXiv平台。