Motional, 로보택시의 결정에 대해 안전 운전자에게 충실한 설명을 제공하다

자율주행 플래너는 긴급 차량을 막는 방식으로 제동하는 것처럼 의외의 선택을 할 수 있지만, 안전 운전자는 모델이 무엇을 보았는지 알 수 없다. 차량의 움직임만으로 이유를 추론하라고 요구하면, 다음 동작을 예측해야 하는 바로 그 순간에 사람들은 빈약한 정신 모델을 갖게 된다.

MIT와 Motional은 별도의 설명 계층이 아니라 내부 개념 분류기로 Concept-Wrapper Network(CW-Net)를 개발했다. 1억 3천만 개의 라벨링된 주행 장면으로 훈련된 이 네트워크는 플래너의 숨겨진 추론을 "정지한 차량에 접근 중" 또는 "자전거 운전자와 가까움"과 같은 개념으로 변환한 뒤, 차량의 주행 성능을 바꾸지 않으면서 최종 계획 단계가 그 개념들을 사용하도록 강제한다.

Motional 로보택시의 비공개 트랙 테스트에서 설명은 안전 운전자가 의외의 상황에서 행동을 예측하는 데 도움을 주었다. 한 사례에서 운전자는 자전거 운전자 근처에서의 정지가 차량이 자전거 운전자를 감지했기 때문이라고 생각했지만, CW-Net은 자전거 운전자 감지기가 올바르게 구성되지 않았고 차량이 너무 가까워서 비상 제동이 작동했음을 보여주었다. 비전문가를 대상으로 한 더 큰 규모의 라스베이거스 시뮬레이션 연구에서도 예측 능력이 같은 수준으로 향상되었으며, 이는 운전자에게 속도를 줄이거나 수동 제어를 해야 한다는 더 이른 신호를 제공하고 엔지니어에게는 수정해야 할 구체적인 실패 사례를 제공했다.

플래너가 개념으로 스스로를 설명하게 하다

사후 설명은 그럴듯하게 들릴 수 있지만 플래너의 실제 원인을 왜곡할 수 있다. 개념을 의사결정 경로에 넣으면 개념이 인과적으로 충실해진다.

실시간 개념을 통해 안전 운전자는 차량이 무엇을 할지 예측할 수 있으며, 기동 후에야 이해하는 데 그치지 않는다.

이 모듈은 기존 플래너의 주행 결정을 모방하므로, 해석 가능성을 위해 성능을 포기할 필요가 없다.

대규모 라벨링 장면 세트는 개념 분류기에 하나의 선별된 데모가 아니라 다양한 도로 상황에 걸친 포괄 범위를 제공한다.

안전이 중요한 블랙박스에서는 설명이 의사결정을 제약할 때만 효과가 있다. 해석 가능한 개념을 모델의 인과 경로에 삽입하고 이를 인간 감독자에게 보여주어야 한다.

CW-Net은 실제 자율주행 차량과 시뮬레이션에서 테스트되었으며, 차량 행동에 대한 인간의 예측을 향상시켰다. 연구진은 개념 어휘 확장과 훈련 및 설계 방법 개선을 다음 단계로 꼽았다. 이 접근법은 또한 엔지니어에게 다른 안전이 중요한 AI 시스템의 문제 해결을 위한 배포 시점 피드백을 제공한다.