Motional gab Sicherheitsfahrern verlässliche Erklärungen für die Entscheidungen eines Robotaxis

Autonome Fahrplaner können überraschende Entscheidungen treffen, etwa so bremsen, dass sie ein Einsatzfahrzeug blockieren, während Sicherheitsfahrer nicht erkennen können, was das Modell gesehen hat. Wenn Menschen den Grund aus der Bewegung des Fahrzeugs ableiten sollen, erhalten sie genau dann ein schwaches mentales Modell, wenn sie den nächsten Schritt vorhersagen müssen.

MIT und Motional entwickelten das Concept-Wrapper Network, kurz CW-Net, als internen Konzeptklassifikator statt als separate Erklärungsschicht. Trainiert auf 130 Millionen annotierten Fahrszenen übersetzt es die verborgene Argumentation des Planers in Konzepte wie „Annäherung an ein stehendes Fahrzeug“ oder „nahe an einem Radfahrer“ und zwingt die abschließende Planungsstufe, diese Konzepte zu verwenden, ohne die Fahrleistung des Fahrzeugs zu verändern.

Bei Tests auf einer privaten Teststrecke mit einem Motional-Robotaxi halfen die Erklärungen Sicherheitsfahrern, das Verhalten in überraschenden Situationen vorherzusagen. In einem Fall glaubte der Fahrer, ein Halt nahe einem Radfahrer bedeute, das Fahrzeug habe den Radfahrer erkannt; CW-Net zeigte, dass der Radfahrer-Detektor nicht korrekt konfiguriert war und die Notbremsung ausgelöst hatte, weil das Auto zu nah war. Eine größere Simulationsstudie in Las Vegas mit Laien ergab dieselbe Verbesserung bei der Vorhersage: Sie gab Fahrern einen früheren Hinweis, langsamer zu werden oder manuell einzugreifen, und Ingenieuren einen konkreten Fehler zur Behebung.

Den Planer dazu bringen, sich selbst in Konzepten zu erklären

Eine nachträgliche Erklärung könnte plausibel klingen und dabei die tatsächliche Ursache des Planers falsch darstellen; werden Konzepte in den Entscheidungspfad eingefügt, sind sie kausal verlässlich.

Echtzeit-Konzepte ermöglichen es einem Sicherheitsfahrer, vorherzusagen, was das Fahrzeug tun wird, statt es erst nach dem Manöver zu verstehen.

Das Modul ahmt die Fahrentscheidungen des bestehenden Planers nach, sodass Interpretierbarkeit nicht durch einen Verlust an Leistung erkauft werden muss.

Ein großer Satz annotierter Szenen verleiht dem Konzeptklassifikator Abdeckung über viele Verkehrssituationen hinweg statt nur einer handverlesenen Demo.

In einer sicherheitskritischen Blackbox funktioniert Erklärung nur, wenn sie die Entscheidung einschränkt: interpretierbare Konzepte in den kausalen Pfad des Modells einfügen und sie dessen menschlichem Aufsichtsführenden zeigen.

CW-Net wurde an einem realen autonomen Fahrzeug und in der Simulation getestet, wo es die menschliche Vorhersage des Fahrzeugverhaltens verbesserte. Die Forschenden nannten die Erweiterung des Konzeptvokabulars sowie die Verfeinerung von Trainings- und Designmethoden als nächste Schritte. Der Ansatz bietet Ingenieuren zudem Feedback zur Einsatzzeit für die Fehlersuche in anderen sicherheitskritischen KI-Systemen.