A Motional deu aos motoristas de segurança explicações fiéis das decisões de um robotáxi

Os planejadores de direção autônoma podem tomar decisões surpreendentes, como frear de um modo que bloqueia um veículo de emergência, deixando os motoristas de segurança sem saber o que o modelo viu. Pedir às pessoas que inferam o motivo a partir do movimento do carro lhes dá um modelo mental frágil justamente quando precisam prever o próximo movimento.

O MIT e a Motional desenvolveram a Concept-Wrapper Network, ou CW-Net, como um classificador interno de conceitos, e não como uma camada de explicação separada. Treinada em 130 milhões de cenas de direção rotuladas, ela traduz o raciocínio oculto do planejador em conceitos como “aproximando-se de veículo parado” ou “próximo de ciclista” e, em seguida, força a etapa final de planejamento a usar esses conceitos sem alterar o desempenho de direção do veículo.

Nos testes em pista privada de um robotáxi da Motional, as explicações ajudaram os motoristas de segurança a prever o comportamento em situações surpreendentes. Em um caso, o motorista pensou que uma parada perto de um ciclista significava que o veículo havia detectado o ciclista; a CW-Net mostrou que o detector de ciclistas não estava configurado corretamente e que a frenagem de emergência havia sido acionada porque o carro estava muito próximo. Um estudo de simulação maior em Las Vegas com não especialistas constatou a mesma melhoria na previsão, dando aos motoristas uma indicação mais precoce para reduzir a velocidade ou assumir o controle manual e dando aos engenheiros uma falha concreta a corrigir.

Fazer o planejador explicar a si mesmo em conceitos

Uma explicação post-hoc poderia soar plausível enquanto deturpava a causa real do planejador; colocar conceitos no caminho da decisão os torna causalmente fiéis.

Conceitos em tempo real permitem que um motorista de segurança preveja o que o veículo fará, e não apenas o entenda após a manobra.

O módulo imita as decisões de direção do planejador existente, de modo que a interpretabilidade não exige abrir mão do desempenho.

Um grande conjunto de cenas rotuladas dá ao classificador de conceitos cobertura em muitas situações de trânsito, em vez de uma única demonstração escolhida a dedo.

Em uma caixa-preta crítica para a segurança, a explicação só funciona quando restringe a decisão: inserir conceitos interpretáveis no caminho causal do modelo e mostrá-los ao seu supervisor humano.

A CW-Net foi testada em um veículo real de direção autônoma e em simulação, onde melhorou a previsão humana do comportamento do veículo. Os pesquisadores identificaram como próximos passos a ampliação do vocabulário de conceitos e o refinamento dos métodos de treinamento e design. A abordagem também oferece aos engenheiros feedback no momento da implantação para solucionar problemas em outros sistemas de IA críticos para a segurança.