在高風險領域中,機器學習模型對實際依據其預測採取行動的從業人員而言,大多仍是不透明的。事後解釋方法提供了一窺模型行為的管道,但運用這些方法所需的專業知識,是大多數領域專家所欠缺的:要在高維度輸出中辨識方向、挑選最佳解釋,並整合來自不同工具的證據。

MEA 透過分工消除了這道知識門檻:提案者代理依據問題與模態挑選並配置解釋工具,而行動者代理則以端到端方式針對忠實度進行最佳化,將工具輸出轉化為涵蓋表格、文字與視覺模態的自然語言解釋。此框架涵蓋特徵歸因、反事實推理與虛假特徵偵測,每一項都搭配以擾動為基礎的忠實度指標。

一項基線發現讓這項設計顯得關鍵:直接要求前沿 LLM 解釋模型時,它們會系統性地產生不忠實的解釋。以忠實度為導向的獎勵驅動最佳化,再加上模態自適應懲罰,使 MEA 在六個資料集上優於事後解釋器、代理式與閉源基線,相較於未經訓練的骨幹模型,忠實度分別提升 +28%(表格)、+21%(文字)與 +34%(視覺)。

別再打造新的解釋器了——訓練代理去運用既有的解釋器,並以忠實度本身作為評分標準

忠實度可透過擾動來衡量,因此能直接作為訓練獎勵,而非事後分數。

將工具選擇與解釋撰寫分開,可讓每個代理針對各自的失敗模式進行最佳化。

模態自適應懲罰讓最佳化器在表格、文字與視覺輸入之間保持誠實。

直接提示前沿 LLM 會系統性地不忠實,因此單靠提示無法彌合專業知識的落差。

當工具鏈需要其使用者所不具備的專業知識時,讓代理學會操作它,並以真正重要的品質指標來評分該代理——獎勵取代了人工技能。

作者將 AI 代理定位為機器學習可解釋性的一種可擴展、可適應的介面——這是一條通往自然語言可解釋性的道路,且能推廣到長久以來定義該領域的固定、單一用途工具之外。於 2026 年 10 月 1 日以 v1 預印本形式發表於 arXiv;尚無部署結果。

追溯依據

參考來源

  1. MEA: A Reward-Driven Multi-Agent System for Faithful Model Explanations arXiv AI · arxiv.org ·