Motional让安全驾驶员获得关于机器人出租车决策的可靠解释

自动驾驶规划器可能做出令人意外的选择，例如以阻挡救护车的方式刹车，却让安全驾驶员无法得知模型看到了什么。要求人们从车辆动作推断原因，使他们在最需要预测下一步时产生了薄弱的心理模型。

MIT和Motional开发了概念包装网络（CW-Net），作为内部概念分类器，而非单独的解释层。经过1.3亿个带标签的驾驶场景训练，它将规划器的隐藏推理转换为“接近停驻车辆”或“接近骑车人”等概念，然后迫使最终规划阶段使用这些概念，而不改变车辆的驾驶性能。

在Motional机器出租车的私人轨道测试中，解释帮助安全驾驶员在意外情况下预测行为。一个案例中，驾驶员认为在骑车人附近停车意味着车辆检测到了骑车人；CW-Net显示自行车检测器未正确配置，紧急制动是因为距离过近而激活。在拉斯维加斯进行的一项更大规模模拟研究（参与者为非专家）发现了同样的预测改进，为驾驶员提供了减速或手动控制的早期提示，并为工程师提供了可修复的具体故障。

让规划器用概念解释自身

事后解释可能听起来合理，却歪曲规划器的真实原因；将概念嵌入决策路径使其因果一致。

实时概念让安全驾驶员预测车辆将要做什么，而不仅是操作后理解。

该模块模仿现有规划器的驾驶决策，因此可解释性不需牺牲性能以换取。

大量带标签场景集合使概念分类器覆盖多种道路情况，而非仅为一个精选演示。

在安全关键的黑箱中，只有解释约束决策时才有效：将可解释概念插入模型的因果路径，并将其展示给人类监督者。

CW-Net在真实自动驾驶车辆和模拟中测试，提高了人类对车辆行为的预测能力。研究人员计划扩展概念词汇表，改进训练和设计方法。该方法还为新部署的AI系统提供了故障排除的反馈，对其他安全关键的AI系统也有价值。