MEAはLLMエージェントに忠実性報酬に基づいて説明ツールを使いこなすよう訓練する

高リスク領域におけるMLモデルは、その予測に基づいて行動する実務者にとって依然として大部分が不透明である。事後説明手法はモデルの挙動を覗くレンズを提供するが、それらを使いこなすには、ほとんどのドメイン専門家が欠いている専門知識を要する。すなわち、高次元の出力を扱い、最良の説明を選択し、異なるツール間で証拠を統合することである。

MEAは分業によってその知識の障壁を取り除く。Proposerエージェントが質問とモダリティに基づいて説明ツールを選択・設定し、Actorエージェントが忠実性に対してエンドツーエンドで最適化され、ツールの出力を表形式・テキスト・視覚の各モダリティにわたって自然言語の説明に変換する。このフレームワークは特徴量帰属、反事実推論、偽の特徴量検出にわたり、それぞれが摂動ベースの忠実性指標と対になっている。

ベースラインの発見がこの設計を効かせる。モデルを説明するよう求められた最先端LLMは、体系的に不忠実な説明を生成する。忠実性に対する報酬駆動の最適化にモダリティ適応型のペナルティを加えることで、MEAは6つのデータセットにわたり事後説明器、エージェント型、クローズドソースのベースラインを上回り、未訓練のバックボーンと比べて忠実性が+28%（表形式）、+21%（テキスト）、+34%（視覚）向上する。

新しい説明器を作るのはやめ、既存の説明器を使いこなすようエージェントを訓練せよ。評価は忠実性そのもので行う

忠実性は摂動によって測定できるため、事後のスコアではなく訓練報酬として直接機能させることができる。

ツールの選択と説明の記述を分離することで、各エージェントをそれぞれ固有の失敗モードに対して最適化できる。

モダリティ適応型のペナルティにより、最適化器は表形式・テキスト・視覚の入力にわたり誠実さを保つ。

最先端LLMは直接プロンプトを与えられると体系的に不忠実であるため、プロンプトだけでは専門知識のギャップを埋められない。

ツールチェーンがユーザーの持たない専門知識を必要とする場合、エージェントにその操作を学習させ、重要な品質指標でエージェントを評価せよ。報酬が手作業のスキルに取って代わる。

著者らはAIエージェントを、MLの説明可能性へのスケーラブルで適応可能なインターフェースとして位置づけている。これは、長らくこの分野を定義してきた固定された単一用途のツールを超えて一般化する自然言語の説明可能性への道筋である。2026年10月1日にarXivでv1プレプリントとして公開された。展開結果はまだない。