El procesamiento de documentos del mundo real depende de esquemas rígidos predefinidos, pero los campos objetivo críticos a menudo no tienen una contrapartida visual directa en la página: extraerlos requiere una derivación de múltiples saltos, como agregar subcategorías o razonar sobre marcas visuales. Incluso tras el ajuste fino estándar, los modelos recuperaban evidencia visual incorrecta, o la recuperaban correctamente y luego omitían pasos intermedios de derivación.

DocMIDE entrena modelos compactos de visión-lenguaje para recuperar evidencia visual de forma explícita antes de derivar una respuesta. La generación se restringe a una estructura de planificar-recuperar-derivar, optimizada con Group Relative Policy Optimization bajo una recompensa basada en reglas de cuatro componentes que abarca el formato de salida, el bloque de evidencia recuperada, cada paso intermedio y el valor final frente a una traza de referencia verificada.

En un benchmark de extracción implícita de 4.151 pares, DocMIDE elevó la precisión en Qwen3.5-4B del 70,8 % al 95,9 % a partir de solo un pequeño conjunto de ejemplos anotados, y se transfirió a una segunda arquitectura de backbone. Las demostraciones supervisadas por sí solas no cerraron la brecha con ningún presupuesto probado; recompensar los pasos intermedios fue lo que lo logró.

Recompensar los pasos intermedios de derivación, no solo la respuesta final

Los campos implícitos requieren encadenar evidencia a través de la página, por lo que los fallos se concentran en pasos intermedios omitidos o erróneos.

Forzar una estructura de planificar-recuperar-derivar hace que cada salto sea explícito y verificable.

Las recompensas basadas en reglas sobre trazas de referencia verificadas evitan el costo de calificar manualmente cada paso.

La recompensa a nivel de paso, no demostraciones adicionales, produjo la ganancia de 25 puntos.

Cuando una tarea oculta razonamiento de múltiples saltos, supervisa los pasos con recompensas basadas en reglas; las demostraciones por sí solas enseñan respuestas, no rutas de derivación.

El artículo informa que la precisión aumentó del 70,8 % al 95,9 % en Qwen3.5-4B, la transferencia a una segunda arquitectura de backbone y el resultado negativo de que las demostraciones supervisadas, con cualquier presupuesto probado, no pudieron igualar la recompensa de los pasos intermedios.

CONSULTA LAS PRUEBAS

Las fuentes

  1. DocMIDE: Learning Multi-Hop Implicit Derivation in Visually Rich Documents arXiv · arxiv.org ·