在某机构计算机科学与人工智能实验室的办公室里，一只软体机械手正缓缓弯曲手指抓取小物体。引人注目的并非其机械设计或嵌入式传感器——事实上这只手没有任何传感器。整个系统仅依靠一个摄像头观察机器人运动，并利用视觉数据实现控制。

这项能力源自该实验室科学家开发的新系统，为机器人控制提供了全新视角。不同于手工建模或复杂传感器阵列，该系统让机器人仅通过视觉自主学习身体对控制指令的响应。这种称为"神经雅可比场"(NJF)的方法赋予机器人某种本体感知能力。相关论文已发表于《自然》期刊。

研究核心在于神经网络同时捕捉机器人三维几何形态和对控制输入的敏感性。该系统基于神经辐射场(NeRF)技术进行扩展，不仅重建机器人形状，还学习预测身体各点在电机指令下运动规律的雅可比场。

训练过程中，机器人执行随机动作，多台摄像机记录结果。无需人工监督或先验知识，系统通过观察自动推断控制信号与运动的关系。训练完成后，机器人仅需单目摄像头即可实现约12Hz的实时闭环控制。

该系统已在气动软体手、刚性机械手、3D打印机械臂和无传感器旋转平台等多种机器人上验证有效性。研究表明，视觉反馈足以提供定位和控制所需信息，无需GPS、外部追踪系统或复杂车载传感器。

当前训练仍需多摄像头支持，且需针对每个机器人单独训练。研究团队正探索改进方案，包括提升泛化能力、处理遮挡问题，以及扩展模型在时空维度上的推理范围。这项研究标志着机器人控制从人工编程向自主学习的重要转变。