家用机器人对话训练数据集发布
通过智能家居设备和系统，用户已经可以指令语音助手完成打开车库门、开关灯光或启动洗碗机等任务。但我们设想未来AI助手能够帮助完成更广泛的复杂任务，包括准备早餐等日常家务。
为实现这类任务，AI助手需要与世界中的物体互动，理解自然语言指令完成任务，并与用户对话澄清模糊指令。
TEACh数据集
为促进此类AI助手开发，某机构公开发布了名为TEACh（任务驱动型对话具身智能体）的新数据集。该数据集包含：
- 超过3000组模拟对话
- 人类在家庭任务完成过程中对机器人的指令
- 来自模拟环境的关联视觉数据
在每个对话中，人类和机器人的角色由付费众包工作者扮演。扮演机器人的工作者不知道需要完成的任务，完全依赖另一工作者的指令。每位工作者接收反映模拟环境第一人称视角的视觉反馈。
数据收集方法
数据收集采用基于AI2-THOR模拟器的家庭环境，包含四种房间类型的30种变体：厨房、客厅、卧室和浴室。每个游戏会话包含：
- 模拟环境的初始和最终状态
- 根据需满足的物体属性定义的任务
- 众包工作者采取的行动序列
行动包括在环境中移动、与物体互动（机器人可以拾取放置物体、开关橱柜抽屉和电器、切换灯光、操作电器和水龙头、切片物体以及将液体从一个物体倒入另一个物体）。
基准测试
研究人员提出了三个基准任务，机器学习模型可以使用数据集进行训练：
-
基于对话历史的执行（EDH） - 模型接收对话历史、机器人先前行动和相应第一人称观察，预测机器人将采取的下几个行动
-
基于对话的轨迹（TfD） - 模型接收完整对话历史，预测机器人采取的所有行动
-
双智能体任务完成（TATC） - 需要构建两个模型，一个用于用户，一个用于机器人，通过通信协作完成任务
这些基准测试包含"已见验证/测试"和"未见验证/测试"分割，评估模型在新对话和执行路径中的泛化能力。
该数据集支持开发能够理解自然语言指令、与环境互动并通过对话澄清任务的下一代AI助手，推动具身人工智能研究向前发展。