塑造先进机器人的未来

三大技术突破提升机器人数据收集、速度与泛化能力

想象一个未来：只需对个人助手机器人说“打扫房间”或“做一顿健康美食”，它就能自动完成这些任务。这些对人类简单的任务，需要机器人具备对世界的高层次理解。

最新发布的AutoRT、SARA-RT和RT-Trajectory系统基于革命性的Robotics Transformers研究，帮助机器人更快决策并更好地理解环境。

AutoRT系统整合大型语言模型（LLM）、视觉语言模型（VLM）和机器人控制模型（RT-1/RT-2），指挥多台配备摄像机和执行器的机器人在不同环境中执行多样化任务。系统通过VLM理解环境，LLM生成任务建议并担任决策者。

在7个月的实地测试中，系统同时安全协调多达20台机器人，总计52台独特机器人在各类办公环境中执行6,650项独特任务，收集77,000次机器人试验数据。

安全协议层：

SARA-RT系统将机器人Transformer（RT）模型转换为更高效版本。通过创新的“向上训练”方法，将二次计算复杂度降为线性复杂度，在保持质量的同时提升速度。

应用SARA-RT到具有数十亿参数的RT-2模型后：

RT-Trajectory通过在训练视频中添加描述机器人运动的2D轨迹草图，为模型提供底层视觉提示。在41项训练未见任务中，RT-Trajectory控制机械臂的任务成功率达到63%，相比RT-2的29%实现翻倍提升。

系统支持多种轨迹生成方式：

这些技术突破为实现更强大的机器人系统奠定基础：RT-Trajectory提供运动泛化能力，SARA-RT提供高效计算，AutoRT实现大规模数据收集。未来将继续应对机器人技术挑战，适应更先进机器人能力。

相关资源：

研究团队致谢：感谢Krzysztof Choromanski等研究人员对本研究的贡献