新加坡AI初创公司Sapient Intelligence开发的新型AI架构在复杂推理任务上可媲美甚至大幅超越大语言模型(LLM),同时具备更小体积和更高数据效率。该架构名为层级推理模型(HRM),其设计灵感源于人脑将缓慢缜密规划与快速直觉计算分离的运作机制。
当前LLM主要依赖思维链(CoT)提示技术,通过将问题分解为基于文本的中间步骤进行推理。研究人员指出:“CoT如同拐杖而非终极方案,其依赖脆弱的人为分解流程,任何步骤错序都会导致整个推理过程崩溃。“这种显式语言生成方式将推理束缚在词元层面,需要海量训练数据且响应缓慢。
HRM采用受神经科学启发的双模块设计:
- 高层(H)模块:负责缓慢的抽象规划
- 低层(L)模块:执行快速细节计算 通过"层级收敛"机制,L模块解决局部问题后,H模块会更新整体策略并赋予新子任务,有效避免早期收敛问题。这种嵌套循环设计使模型能在潜在空间进行深度推理,无需冗长CoT提示。
在抽象推理基准测试(ARC-AGI)、极限数独和复杂迷宫等需要回溯搜索的任务中,27M参数的HRM表现突出:
- 在"Sudoku-Extreme"和"Maze-Hard"测试中达到接近100%准确率
- ARC-AGI测试得分40.3%,超越更大规模的CoT模型
- 每个任务仅需1000个训练样本
该架构在专业级数独任务上仅需2GPU小时训练,ARC-AGI任务需50-200GPU小时,相比基础模型大幅降低资源消耗。并行处理能力带来100倍任务完成速度提升,使复杂推理可在边缘设备运行。
目前该技术正从专用问题求解器向通用推理模块进化,在医疗健康、气候预测和机器人领域已取得初步成果。下一代模型将引入自校正能力,进一步突破当前基于文本的AI系统局限。