Los planificadores de conducción autónoma pueden tomar decisiones sorprendentes, como frenar de una manera que bloquea a un vehículo de emergencia, sin que los conductores de seguridad puedan saber qué vio el modelo. Pedir a las personas que infieran la razón a partir del movimiento del coche les da un modelo mental débil justo cuando necesitan predecir el siguiente movimiento.
MIT y Motional desarrollaron la Concept-Wrapper Network, o CW-Net, como un clasificador de conceptos interno en lugar de una capa de explicación separada. Entrenada con 130 millones de escenas de conducción etiquetadas, traduce el razonamiento oculto del planificador en conceptos como «acercándose a un vehículo detenido» o «cerca de un ciclista», y luego obliga a la etapa final de planificación a usar esos conceptos sin cambiar el rendimiento de conducción del vehículo.
En las pruebas en pista privada de un robotaxi de Motional, las explicaciones ayudaron a los conductores de seguridad a predecir el comportamiento en situaciones sorprendentes. En un caso, el conductor pensó que una parada cerca de un ciclista significaba que el vehículo había detectado al ciclista; CW-Net mostró que el detector de ciclistas no estaba configurado correctamente y que se había activado el frenado de emergencia porque el coche estaba demasiado cerca. Un estudio de simulación más amplio en Las Vegas con personas no expertas encontró la misma mejora en la predicción, lo que dio a los conductores una señal más temprana para reducir la velocidad o tomar el control manual y a los ingenieros un fallo concreto que corregir.
Hacer que el planificador se explique a sí mismo en conceptos
Una explicación a posteriori podría sonar plausible mientras tergiversa la causa real del planificador; colocar los conceptos en la ruta de decisión los hace causalmente fieles.
Los conceptos en tiempo real permiten a un conductor de seguridad predecir lo que hará el vehículo, no solo comprenderlo después de la maniobra.
El módulo imita las decisiones de conducción del planificador existente, por lo que la interpretabilidad no exige sacrificar el rendimiento.
Un gran conjunto de escenas etiquetadas da al clasificador de conceptos cobertura en muchas situaciones de la carretera en lugar de una sola demostración elegida a mano.
En una caja negra de seguridad crítica, la explicación solo funciona cuando restringe la decisión: insertar conceptos interpretables en la ruta causal del modelo y mostrarlos a su supervisor humano.
CW-Net se probó en un vehículo de conducción autónoma real y en simulación, donde mejoró la predicción humana del comportamiento del vehículo. Los investigadores identificaron ampliar el vocabulario de conceptos y perfeccionar los métodos de entrenamiento y diseño como próximos pasos. El enfoque también ofrece a los ingenieros retroalimentación en el momento del despliegue para solucionar problemas en otros sistemas de IA de seguridad crítica.
CONSULTA LAS PRUEBAS
Las fuentes
- System helps humans predict when self-driving cars will make mistakes MIT News · news.mit.edu ·
- Explainable deep learning improves human mental models of self-driving cars Nature · nature.com