真實世界的文件處理依賴僵化的預先定義結構描述,然而關鍵的目標欄位往往在頁面上沒有直接對應的視覺內容——擷取這些欄位需要多跳推導,例如彙總子類別,或對視覺標記進行推理。即使經過標準微調,模型仍會檢索到錯誤的視覺證據,或者正確檢索到證據後卻跳過中間推導步驟。

DocMIDE 訓練精簡的視覺語言模型,在推導答案之前先明確檢索視覺證據。生成過程被限制為「規劃—檢索—推導」結構,並以群組相對策略優化(Group Relative Policy Optimization)進行最佳化,其獎勵採用四項基於規則的元件,涵蓋輸出格式、檢索到的證據區塊、每一個中間步驟,以及對照已驗證參考軌跡的最終數值。

在一個包含 4,151 對樣本的隱含擷取基準上,DocMIDE 僅用少量標註範例,就將 Qwen3.5-4B 的準確率從 70.8% 提升至 95.9%,並可移轉至第二種主幹架構。單靠監督式示範在任何受測預算下都無法縮小差距;真正奏效的是獎勵中間步驟。

獎勵中間推導步驟,而不只是最終答案

隱含欄位需要在頁面上串接證據,因此失敗集中於被跳過或錯誤的中間步驟。

強制採用「規劃—檢索—推導」結構,使每一跳都明確且可檢查。

基於規則、對照已驗證參考軌跡的獎勵,避免了對每一步進行人工評分的成本。

帶來 25 點提升的是步驟層級的獎勵,而非額外的示範。

當任務隱藏多跳推理時,應以基於規則的獎勵來監督各個步驟;單靠示範只能教會答案,無法教會推導路徑。

該論文報告,Qwen3.5-4B 的準確率從 70.8% 提升至 95.9%,可移轉至第二種主幹架構,並得出負面結果:在任何受測預算下,監督式示範都無法匹敵獎勵中間步驟的做法。

追溯依據

參考來源

  1. DocMIDE: Learning Multi-Hop Implicit Derivation in Visually Rich Documents arXiv · arxiv.org ·