Die Verarbeitung realer Dokumente stützt sich auf starre, vordefinierte Schemata, doch für entscheidende Zielfelder gibt es auf der Seite oft kein direktes visuelles Gegenstück – ihre Extraktion erfordert mehrstufige Ableitungen, etwa das Aggregieren von Unterkategorien oder das Schließen aus visuellen Markierungen. Selbst nach Standard-Feintuning riefen die Modelle falsche visuelle Belege ab oder riefen sie korrekt ab und übersprangen dann Zwischenableitungsschritte.
DocMIDE trainiert kompakte Vision-Sprachmodelle darauf, visuelle Belege ausdrücklich abzurufen, bevor sie eine Antwort ableiten. Die Generierung ist auf eine Plan-Retrieve-Derive-Struktur beschränkt und wird mit Group Relative Policy Optimization unter einer regelbasierten Belohnung aus vier Komponenten optimiert, die das Ausgabeformat, den abgerufenen Belegblock, jeden Zwischenschritt und den Endwert anhand einer verifizierten Referenzspur abdeckt.
Auf einem Benchmark zur impliziten Extraktion mit 4.151 Paaren steigerte DocMIDE die Genauigkeit bei Qwen3.5-4B von 70,8 % auf 95,9 % anhand nur einer kleinen Menge annotierter Beispiele und ließ sich auf eine zweite Backbone-Architektur übertragen. Überwachte Demonstrationen allein schlossen die Lücke bei keinem getesteten Budget; die Belohnung der Zwischenschritte war es, die den Unterschied machte.
Belohne die Zwischenableitungsschritte, nicht nur die endgültige Antwort
Implizite Felder erfordern eine Verkettung von Belegen über die Seite hinweg, sodass sich Fehler auf übersprungene oder falsche Zwischenschritte konzentrieren.
Eine erzwungene Plan-Retrieve-Derive-Struktur macht jeden Sprung explizit und überprüfbar.
Regelbasierte Belohnungen auf verifizierten Referenzspuren vermeiden die Kosten der menschlichen Bewertung jedes Schritts.
Die Belohnung auf Schritt-Ebene, nicht zusätzliche Demonstrationen, erzeugte den Gewinn von 25 Punkten.
Wenn eine Aufgabe mehrstufiges Schlussfolgern verbirgt, überwache die Schritte mit regelbasierten Belohnungen; Demonstrationen allein lehren Antworten, nicht Ableitungspfade.
Die Arbeit berichtet einen Anstieg der Genauigkeit von 70,8 % auf 95,9 % bei Qwen3.5-4B, eine Übertragung auf eine zweite Backbone-Architektur und das negative Ergebnis, dass überwachte Demonstrationen bei keinem getesteten Budget die Belohnung von Zwischenschritten erreichen konnten.
DEN BELEGEN FOLGEN
Die Quellen
- DocMIDE: Learning Multi-Hop Implicit Derivation in Visually Rich Documents arXiv · arxiv.org ·