O processamento de documentos do mundo real depende de esquemas predefinidos rígidos, mas campos-alvo críticos frequentemente não têm contraparte visual direta na página — extraí-los exige derivação multi-hop, como agregar subcategorias ou raciocinar sobre marcas visuais. Mesmo após o ajuste fino padrão, os modelos recuperavam evidências visuais incorretas, ou as recuperavam corretamente e então pulavam etapas intermediárias de derivação.
O DocMIDE treina modelos compactos de visão-linguagem para recuperar evidências visuais explicitamente antes de derivar uma resposta. A geração é restrita a uma estrutura de planejar-recuperar-derivar, otimizada com Group Relative Policy Optimization sob uma recompensa baseada em regras de quatro componentes, abrangendo o formato de saída, o bloco de evidências recuperadas, cada etapa intermediária e o valor final em relação a um traço de referência verificado.
Em um benchmark de extração implícita de 4.151 pares, o DocMIDE elevou a acurácia no Qwen3.5-4B de 70,8% para 95,9% a partir de apenas um pequeno conjunto de exemplos anotados, e transferiu-se para uma segunda arquitetura de backbone. Demonstrações supervisionadas isoladamente não fecharam a lacuna em nenhum orçamento testado; recompensar as etapas intermediárias foi o que o fez.
Recompensar as etapas intermediárias de derivação, não apenas a resposta final
Campos implícitos exigem encadear evidências pela página, então as falhas se concentram em etapas intermediárias puladas ou erradas.
Forçar uma estrutura de planejar-recuperar-derivar torna cada salto explícito e verificável.
Recompensas baseadas em regras sobre traços de referência verificados evitam o custo de avaliar manualmente cada etapa.
A recompensa em nível de etapa, e não demonstrações extras, produziu o ganho de 25 pontos.
Quando uma tarefa oculta raciocínio multi-hop, supervisione as etapas com recompensas baseadas em regras; demonstrações isoladas ensinam respostas, não caminhos de derivação.
O artigo relata acurácia subindo de 70,8% para 95,9% no Qwen3.5-4B, transferência para uma segunda arquitetura de backbone, e o resultado negativo de que demonstrações supervisionadas em qualquer orçamento testado não conseguiram igualar a recompensa às etapas intermediárias.
CONFIRA AS EVIDÊNCIAS
As fontes
- DocMIDE: Learning Multi-Hop Implicit Derivation in Visually Rich Documents arXiv · arxiv.org ·