Motional 讓安全駕駛員對機器人計程車的決策獲得忠實解釋

自動駕駛規劃器可能做出令人意外的選擇，例如以阻擋緊急車輛的方式煞車，卻讓安全駕駛員無法得知模型究竟看到了什麼。要求人們從車輛的動態推斷原因，會使他們在正需要預測下一步動作時，只得到一個薄弱的心理模型。

MIT 與 Motional 開發了概念包裝網路（Concept-Wrapper Network，CW-Net），將其作為內部的概念分類器，而非獨立的解釋層。該網路以 1.3 億個標註過的駕駛場景訓練，將規劃器隱藏的推理轉譯為「接近停止的車輛」或「靠近自行車騎士」等概念，接著強制最終規劃階段使用這些概念，同時不改變車輛的駕駛表現。

在 Motional 機器人計程車的私人賽道測試中，解釋有助於安全駕駛員在突發狀況下預測行為。在其中一個案例裡，駕駛員以為車輛在自行車騎士附近停下，代表車輛偵測到了該名騎士；CW-Net 顯示自行車騎士偵測器並未正確設定，而緊急煞車之所以啟動，是因為車輛距離太近。一項規模更大、以非專家為對象的拉斯維加斯模擬研究也發現預測能力有相同改善，讓駕駛員能更早獲得減速或接手手動控制的提示，也讓工程師有具體的故障可修正。

讓規劃器以概念解釋自身

事後解釋可能聽起來合理，卻曲解了規劃器真正的原因；將概念放入決策路徑，能使其具備因果忠實性。

即時概念讓安全駕駛員能預測車輛將做什麼，而不只是在操作結束後理解它。

此模組模仿既有規劃器的駕駛決策，因此可解釋性無須犧牲效能。

龐大的標註場景集讓概念分類器涵蓋多種道路情境，而非僅限於一個精心挑選的示範。

在安全關鍵的黑箱系統中，解釋唯有在能約束決策時才有效：將可解釋的概念插入模型的因果路徑，並向其人類監督者展示。

CW-Net 已在真實的自動駕駛車輛與模擬環境中測試，並改善了人類對車輛行為的預測。研究人員將擴充概念詞彙，以及精進訓練與設計方法，列為下一步工作。此方法也為工程師提供部署階段的回饋，可用於排查其他安全關鍵的 AI 系統。