自动驾驶安全测试的挑战

以某中心专门设计的机器人出租车为代表的自动驾驶车辆（AV）标志着人类出行的新时代，但AV的部署面临诸多挑战。通过仿真进行广泛的安全测试至关重要，这需要大规模创建合成驾驶场景。特别重要的是生成逼真的安全关键道路场景，以测试AV对各种驾驶情况的反应，包括相对罕见且潜在危险的情况。

传统方法的局限性

传统方法往往产生复杂度有限的场景，难以复制许多真实世界的情况。最近，机器学习（ML）模型使用深度学习基于指定地图区域生成复杂交通场景，但在车辆定位、速度和轨迹方面提供有限的场景塑造手段。这使得难以大规模创建特定的安全关键场景。同时，手动设计大量此类场景是不切实际的。

Scenario Diffusion解决方案

在2023年神经信息处理系统会议（NeurIPS）上发表的论文中，提出了一种称为Scenario Diffusion的方法来解决这些挑战。该系统包含基于潜在扩散的新型ML架构，这是一种用于图像生成的ML技术，其中模型学习将随机噪声转换为详细图像。

Scenario Diffusion能够大规模输出高度可控和逼真的交通场景。其可控性是因为Scenario Diffusion模型的输出不仅基于所需区域的地图，还基于易于生成的描述符集，这些描述符可以指定场景中部分或全部车辆的定位和特征。这些描述符称为智能体令牌，采用特征向量的形式。类似地可以指定全局场景令牌，指示给定场景中道路的繁忙程度。

技术架构核心

AV控制软件通常分为感知、预测和运动规划模块。在路上，AV的摄像头和其他传感器感知道路情况，出于运动规划目的，可以表示为简化的鸟瞰图像。

在这个多通道图像中，每辆车（“智能体”），包括AV本身，都表示为一个"边界框"，反映车辆在本地地图上的宽度、长度和位置。图像还包含车辆其他特征的信息，如航向和轨迹。这些特征和地图本身是验证仿真中运动规划所需的合成驾驶场景的两个关键元素。

Scenario Diffusion模型有两个组件。第一个是自动编码器，将复杂驾驶场景投影到更易管理的表示空间中。第二个组件扩散模型在此空间中运行。

与所有扩散模型一样，该模型通过向真实世界场景添加噪声并要求模型去除噪声来进行训练。一旦模型训练完成，可以对随机噪声进行采样，并使用模型逐渐将噪声转换为逼真的驾驶场景。

训练数据与创新点

模型在公共和专有真实世界驾驶日志数据集上进行了训练，这些数据集包含跨各种地理区域和设置的数百万个驾驶场景。

先前的ML生成驾驶场景方法通常将智能体的边界框放置在地图上——基本上是静态快照，没有运动信息。然后使用对象识别识别这些框，再应用启发式或学习方法决定每个智能体的合适轨迹。这种混合解决方案难以捕捉真实世界驾驶的细微差别。

该工作的一个关键贡献是实现了智能体放置和行为的同步推断。当训练模型为给定地图生成交通场景时，它在场景中放置的每个智能体都有一个相关的特征向量，描述其特性，如车辆的尺寸、方向和轨迹。驾驶场景完全形成地出现。

特征向量方法不仅提供更逼真的场景，而且非常容易向模型添加信息，使其具有高度适应性。在论文中，仅处理标准车辆，但生成包括自行车、行人、滑板车、动物——任何Zoox机器人出租车在真实世界中遇到的更复杂场景将很简单。

按需创建安全关键"边缘案例"

如果只是想创建数千个没有特定情况的逼真驾驶场景，可以让Scenario Diffusion在特定地图上自由生成交通。这种方法在先前的研究中已经探索过。但随机生成的场景不是验证AV软件处理罕见安全关键事件的有效方式。

假设想要验证AV在给定地图上的安全关键情况（如公共汽车在其前方右转）中的行为。创建此类场景对Scenario Diffusion来说很简单，得益于其使用智能体令牌和全局场景令牌。智能体令牌可以很容易地从真实驾驶日志数据计算或由人工创建。然后可以用它们提示模型将具有所需特性的车辆放置在特定位置。模型将在生成场景中包含这些车辆，同时创建额外的智能体以逼真方式填充场景的其余部分。

仅使用一个GPU，生成一个新场景大约需要一秒钟。

跨区域成功泛化

为了评估模型跨地理区域泛化的能力，在Zoox数据集的每个区域数据上训练了单独模型。仅使用旧金山驾驶日志训练的模型在为旧金山生成逼真驾驶场景方面比在西雅图数据训练的模型表现更好。然而，在四个区域的完整Zoox数据集上训练的模型非常接近区域专门化模型的性能。这些发现表明，虽然每个区域都有独特方面，但完全训练的模型有足够能力捕捉这种多样性。

泛化到其他城市的能力对AV验证的未来是个好消息，因为Zoox扩展到新的大都市区域。始终需要在新位置收集真实世界驾驶日志，使用配备完整传感器架构并由安全驾驶员监控的AV。然而，生成补充合成数据的能力将缩短在新区域验证AV控制系统所需的时间。

计划通过使模型输出更加丰富和细致，具有更多样化的车辆和对象类型，以更好地匹配真实街道的复杂性，来构建这项研究。例如，最终可以设计一个模型生成高度复杂的安全场景，如放学时间在学校地点驾驶，有成群的孩子和父母在附近或涌入道路。

正是这种灵活性、可控性和日益增加的逼真度的强大组合，将使Scenario Diffusion方法成为自动驾驶车辆安全验证未来的基础。