Motional、ロボタクシーの判断について安全運転手に忠実な説明を提供

自動運転プランナーは、緊急車両の進路を妨げるようなブレーキのかけ方など、予期せぬ選択をすることがあるが、安全運転手はモデルが何を見たのかを把握できないままである。車の動きから理由を推測するよう求められると、まさに次の動きを予測する必要があるときに、弱いメンタルモデルしか持てない。

MITとMotionalは、独立した説明レイヤーではなく、内部の概念分類器としてConcept-Wrapper Network（CW-Net）を開発した。1億3000万件のラベル付き走行シーンで学習したCW-Netは、プランナーの隠れた推論を「停止車両に接近中」や「自転車利用者に近接」といった概念に変換し、車両の走行性能を変えることなく、最終計画段階でそれらの概念を使うよう強制する。

Motionalのロボタクシーによる非公開テストコースでの試験では、説明によって安全運転手が予期せぬ状況での挙動を予測しやすくなった。ある事例では、運転手は自転車利用者の近くでの停止を、車両が自転車利用者を検知したためだと考えたが、CW-Netは自転車検知器が正しく設定されておらず、車が近すぎたために緊急ブレーキが作動したことを示した。非専門家を対象としたラスベガスでのより大規模なシミュレーション研究でも同様の予測改善が見られ、運転手には減速や手動操作のより早い手がかりを、エンジニアには修正すべき具体的な不具合を与えた。

プランナーに概念で自己説明させる

事後的な説明はもっともらしく聞こえても、プランナーの実際の原因を誤って伝える可能性がある。概念を意思決定の経路に組み込むことで、それらは因果的に忠実になる。

リアルタイムの概念により、安全運転手は車両が何をするかを予測でき、操作後に理解するだけでなくなる。

このモジュールは既存のプランナーの運転判断を模倣するため、解釈可能性のために性能を犠牲にする必要がない。

大規模なラベル付きシーンセットにより、概念分類器は一つを選んだデモではなく、多くの道路状況にわたる網羅性を持つ。

安全が重要なブラックボックスでは、説明は意思決定を制約する場合にのみ機能する。解釈可能な概念をモデルの因果経路に挿入し、それを人間の監督者に示す。

CW-Netは実際の自動運転車両とシミュレーションでテストされ、車両挙動の人間による予測を改善した。研究者らは、概念語彙の拡大と学習・設計手法の改良を次の課題として挙げた。このアプローチは、他の安全が重要なAIシステムのトラブルシューティングに向けて、エンジニアに展開時のフィードバックも提供する。