MEA, 충실성 보상을 활용해 설명 도구를 다루도록 LLM 에이전트를 훈련하다

고위험 영역의 ML 모델은 그 예측에 따라 행동하는 실무자들에게 여전히 대체로 불투명하다. 사후 설명 방법은 모델 행동을 들여다볼 수 있는 렌즈를 제공하지만, 이를 다루려면 대부분의 도메인 전문가가 갖추지 못한 전문성이 필요하다: 고차원 출력을 탐색하고, 최선의 설명을 선택하고, 서로 다른 도구들에 걸쳐 증거를 종합하는 일이다.

MEA는 분업을 통해 그 지식 장벽을 제거한다: Proposer 에이전트는 질문과 모달리티에 따라 설명 도구를 선택하고 구성하며, 충실성에 대해 엔드투엔드로 최적화된 Actor 에이전트는 도구 출력을 표 형식, 텍스트, 비전 모달리티 전반에 걸쳐 자연어 설명으로 변환한다. 이 프레임워크는 특성 기여도, 반사실적 추론, 허위 특성 탐지를 아우르며, 각각은 섭동 기반 충실성 지표와 짝을 이룬다.

한 가지 기준선 발견이 설계의 핵심을 드러낸다: 모델을 설명하도록 요청받은 최첨단 LLM은 체계적으로 불충실한 설명을 생성한다. 모달리티 적응형 페널티로 보강된, 충실성에 대한 보상 기반 최적화를 통해 MEA는 6개 데이터셋에서 사후 설명기, 에이전트 기반, 폐쇄형 기준선을 능가하며, 훈련되지 않은 백본 대비 충실성 향상은 +28%(표 형식), +21%(텍스트), +34%(비전)이다.

새로운 설명기를 만드는 일을 멈추고 — 충실성 자체로 평가받는, 기존 설명기를 다루도록 에이전트를 훈련하라

충실성은 섭동으로 측정할 수 있으므로, 사후 점수가 아니라 곧바로 훈련 보상으로 사용할 수 있다.

도구 선택과 설명 작성 분리는 각 에이전트가 자신의 실패 모드에 맞춰 최적화되게 한다.

모달리티 적응형 페널티는 표 형식, 텍스트, 비전 입력 전반에서 최적화기가 정직하게 작동하게 유지한다.

최첨단 LLM은 직접 프롬프트하면 체계적으로 불충실하므로, 프롬프트만으로는 전문성 격차를 좁힐 수 없다.

도구 체인이 사용자가 갖지 못한 전문성을 필요로 할 때, 에이전트가 그것을 운영하도록 학습시키고 중요한 품질 지표로 에이전트를 평가하라 — 보상이 수동 기술을 대체한다.

저자들은 AI 에이전트를 ML 설명 가능성에 대한 확장 가능하고 적응적인 인터페이스로 자리매김한다 — 오랫동안 이 분야를 규정해 온 고정된 단일 목적 도구를 넘어 일반화되는 자연어 설명 가능성을 향한 경로다. 2026년 10월 1일 arXiv에 v1 프리프린트로 게시되었으며, 아직 배포 결과는 없다.