A Outage Data Initiative Nationwide (ODIN) coleta relatórios heterogêneos de interrupção de energia que precisam ser transformados em XML padronizado em conformidade com a CIM IEC 61968-3. Um pequeno modelo de linguagem ajustado da maneira usual estagnou em 16,20% de precisão geral.
Os autores aplicaram o Minimum Risk Training (MRT), introduzido para tradução automática neural há uma década: em vez de depender de objetivos de máxima verossimilhança em nível de token, o treinamento otimiza diretamente métricas de avaliação em nível de sequência, de modo que erros que quebram o formato alvo são penalizados durante o treinamento.
Com o MRT, o Qwen2.5-7B-Instruct alcançou 68,95% de precisão geral na tarefa — um salto de mais de quatro vezes —, demonstrando a eficácia da otimização em nível de sequência para geração estruturada específica de domínio, em linha com trabalhos recentes que mostram potencial renovado para otimização baseada em risco em modelos de linguagem modernos.
Treinar diretamente na métrica pela qual a saída é avaliada
O XML padronizado ou é válido ou não é, então uma métrica em nível de sequência captura melhor o objetivo real do que a verossimilhança de tokens.
A otimização direta da métrica penaliza falhas de saída inteira, como campos errados ou estrutura quebrada, durante o treinamento, e não depois.
A técnica é anterior aos LLMs modernos, mas se combina com eles: nenhuma mudança de arquitetura foi necessária.
Um modelo pequeno de 7B é suficiente quando o objetivo de treinamento corresponde à métrica de avaliação.
Quando a saída precisa satisfazer um formato verificável, faça da própria verificação o sinal de treinamento; um truque de nível de sequência de uma década pode superar correções no nível do prompt para geração estruturada restrita.
O artigo relata o salto de 16,20% para 68,95% na tarefa de padronização da ODIN e o apresenta como evidência de potencial renovado para otimização baseada em risco em modelos de linguagem modernos.
CONFIRA AS EVIDÊNCIAS