仿真管道为灵巧机器人定制训练数据

当ChatGPT或Gemini对问题给出专家级回答时，你可能没有意识到这些回答背后依赖的海量信息。与其他流行的生成式人工智能模型类似，这些聊天机器人依赖于在数十亿甚至数万亿数据点上训练的基础模型。

工程师们希望构建能训练各种机器人新技能的基础模型，例如在家庭和工厂中拾取、移动和放置物体。但问题在于难以跨机器人系统收集和传输教学数据。虽然可以通过虚拟现实技术逐步远程操作硬件进行教学，但这种方式非常耗时。而基于网络视频的训练效果较差，因为这些视频无法为特定机器人提供逐步的专业任务指导。

某实验室开发的仿真驱动方法"PhysicsGen"可定制机器人训练数据，帮助机器人找到最高效的任务动作方案。该系统能将几十个VR演示扩展为每台机器近3000次仿真，然后将这些高质量指令映射到机械伙伴（如机械臂和机械手）的精确配置中。

PhysicsGen通过三步流程生成适用于特定机器人的通用数据：首先，VR头盔追踪人类如何用手操作积木等物体，这些互动会同步映射到3D物理模拟器中，将手部关键点可视化为模仿人类手势的小球体。例如翻转玩具时，你会看到代表手部不同部位的3D形状旋转该物体的虚拟版本。

随后，管道将这些点重新映射到特定机器设置的3D模型中，将其移动到系统扭转转动的精确"关节"处。最后，PhysicsGen使用轨迹优化（本质上是模拟最高效的动作来完成任​​务），让机器人了解重新定位箱子等任务的最佳方式。

每个仿真都是详细的训练数据点，引导机器人掌握处理物体的潜在方法。当这些数据融入行动策略后，机器人就拥有了多种任务处理方式，并能在某种动作无效时尝试其他方案。

该系统仅用24次人类演示就生成了数千次仿真，帮助数字和现实世界中的机器人重新定向物体。在虚拟实验中，数字机器人通过PhysicsGen的大规模数据集训练，完成任务准确率达到81%，比仅从人类演示中学习的基线提高了60%。

研究人员还发现PhysicsGen能提升虚拟机械臂的协作能力。该系统创建的额外训练数据使两对机器人完成任务的成功率比纯人工教学基线高出30%。在真实机械臂实验中，研究人员观察到类似的改进——当机器人偏离预定轨迹或操作失误时，它们能通过参考指令库中的替代轨迹在任务中途恢复。

未来，PhysicsGen可能扩展到新领域：增加机器可执行任务的多样性。研究人员希望利用该系统教机器人执行未经训练的任务，例如在只接受过收拾餐具训练的情况下倒水。该管道不仅能为人熟悉的任务生成动态可行的动作，还有潜力创建丰富的物理交互库，作为完成人类未演示过的新任务的基础。

创建大量广泛适用的训练数据可能有助于构建机器人基础模型，但研究人员提醒这仍是较远期的目标。团队正在研究如何利用网络视频等非结构化资源作为仿真种子，目标是将日常视觉内容转化为丰富的机器人就绪数据，教会机器执行无人明确演示过的任务。

研究人员还计划引入强化学习，使PhysicsGen能超越人类提供的示例扩展数据集，并可能采用先进感知技术帮助机器人视觉解读环境，适应物理世界的复杂性。目前，PhysicsGen展示了AI如何帮助教授不同机器人操作同类物体（特别是刚性物体）的能力。该管道很快可能帮助机器人找到处理柔软物品和可变形材料的最佳方式，尽管这些相互作用的仿真仍具挑战性。

这项研究得到了某机构和某中心的资金支持，近期已在机器人科学与系统会议上发表。