Motional a fourni aux conducteurs de sécurité des explications fidèles des décisions d'un robotaxi

Les planificateurs de conduite autonome peuvent faire des choix surprenants, comme freiner d'une manière qui bloque un véhicule d'urgence, tout en laissant les conducteurs de sécurité incapables de dire ce que le modèle a perçu. Demander aux personnes de déduire la raison à partir du mouvement de la voiture leur donne un modèle mental faible au moment même où elles ont besoin de prédire le prochain geste.

Le MIT et Motional ont développé le Concept-Wrapper Network, ou CW-Net, comme un classificateur de concepts interne plutôt qu'une couche d'explication séparée. Entraîné sur 130 millions de scènes de conduite étiquetées, il traduit le raisonnement caché du planificateur en concepts tels que « approche d'un véhicule arrêté » ou « proche d'un cycliste », puis force l'étape finale de planification à utiliser ces concepts sans modifier les performances de conduite du véhicule.

Lors des tests sur piste privée d'un robotaxi de Motional, les explications ont aidé les conducteurs de sécurité à prédire le comportement dans des situations surprenantes. Dans un cas, le conducteur pensait qu'un arrêt près d'un cycliste signifiait que le véhicule avait détecté le cycliste ; CW-Net a montré que le détecteur de cyclistes n'était pas configuré correctement et que le freinage d'urgence s'était activé parce que la voiture était trop proche. Une étude de simulation plus vaste à Las Vegas avec des non-experts a constaté la même amélioration de la prédiction, donnant aux conducteurs un signal plus précoce pour ralentir ou reprendre le contrôle manuel et donnant aux ingénieurs une défaillance concrète à corriger.

Faire en sorte que le planificateur s'explique lui-même en concepts

Une explication a posteriori pouvait sembler plausible tout en déformant la cause réelle du planificateur ; intégrer les concepts dans le chemin de décision les rend causalement fidèles.

Des concepts en temps réel permettent à un conducteur de sécurité de prédire ce que le véhicule va faire, et pas seulement de le comprendre après la manœuvre.

Le module imite les décisions de conduite du planificateur existant, de sorte que l'interprétabilité n'exige pas de sacrifier la performance.

Un vaste ensemble de scènes étiquetées donne au classificateur de concepts une couverture de nombreuses situations routières plutôt qu'une seule démonstration choisie à la main.

Dans une boîte noire critique pour la sécurité, l'explication ne fonctionne que lorsqu'elle contraint la décision : insérer des concepts interprétables dans le chemin causal du modèle et les montrer à son superviseur humain.

CW-Net a été testé sur un véritable véhicule de conduite autonome et en simulation, où il a amélioré la prédiction humaine du comportement du véhicule. Les chercheurs ont identifié l'élargissement du vocabulaire de concepts et le perfectionnement des méthodes d'entraînement et de conception comme prochaines étapes. L'approche offre également aux ingénieurs un retour d'information au moment du déploiement pour diagnostiquer d'autres systèmes d'IA critiques pour la sécurité.