家用机器人远程物体定位技术突破
技术背景
远程物体定位是指根据自然语言描述自动确定本地环境中目标物体位置的任务。这是家用机器人执行诸如"把儿童卫生间台面上的眼镜拿给我"等指令的核心能力。
创新方法
提出了一种基于视觉语言（VL）基础模型的新方法，将远程物体定位视为信息检索问题。该方法通过"技巧集合"使基础模型适应这一新应用，在一个基准数据集上实现了10%的性能提升，在另一个数据集上提升5%。
核心技术挑战
- 规模问题：单个家庭可能包含10万个独立物体，使用大型基础模型一次性查询所有候选对象耗时过长
- 维度不匹配：VL模型通常使用2D图像训练，而家用机器人需要构建3D环境地图
解决方案：技巧集合
1. 负样本增强
通过添加负样本（目标物体不可见的视角）来增强训练数据，防止模型对候选对象评分过度自信，确保不同列表间评分的一致性。
2. 距离限制探索
在训练过程中，模型不仅学习物体与请求的最佳对应关系，还学习通常需要移动的距离范围。限制搜索半径在保证精度的同时大幅提升处理效率。
3. 3D表示转换
将物体周围边界框的2D坐标转换为3D坐标集：边界框中心的三个空间维度加上半径（定义为边界框对角线长度的一半）。
4. 上下文向量
为每个视角生成上下文向量（该视角可见所有对象向量的平均值），添加到特定候选对象的表示中，使机器人能够区分不同环境中相似物体的位置。
实验验证
在两个基准数据集上测试了该方法，每个数据集包含数万条指令和相应的传感器读数集合。结果表明该方法显著优于之前的最先进模型。在实际机器人上的部署测试显示，该算法能够实时高精度执行指令。
应用场景
当机器人对环境没有先验知识时，在推理时可以使用基于边界的探索方法来映射候选对象的位置，实现远程物体定位。
研究领域：机器人技术、搜索与信息检索、对话式AI、计算机视觉
技术标签：人机交互、自主机器人技术