La Iniciativa Nacional de Datos de Apagones (ODIN, por sus siglas en inglés) recopila informes heterogéneos de cortes de energía que deben transformarse en XML estandarizado conforme a CIM IEC 61968-3. Un modelo de lenguaje pequeño ajustado de la forma habitual se estancó en una precisión global del 16,20 %.
Los autores aplicaron el Entrenamiento de Riesgo Mínimo (MRT), introducido para la traducción automática neuronal hace una década: en lugar de basarse en objetivos de máxima verosimilitud a nivel de token, el entrenamiento optimiza directamente métricas de evaluación a nivel de secuencia, de modo que los errores que rompen el formato objetivo se penalizan durante el entrenamiento.
Con MRT, Qwen2.5-7B-Instruct alcanzó una precisión global del 68,95 % en la tarea —un salto de más del cuádruple—, lo que demuestra la eficacia de la optimización a nivel de secuencia para la generación estructurada específica de dominio, en línea con trabajos recientes que muestran un potencial renovado para la optimización basada en riesgo en los modelos de lenguaje modernos.
Entrenar directamente con la métrica con la que se juzga la salida
El XML estandarizado o valida o no valida, por lo que una métrica a nivel de secuencia captura mejor el objetivo real que la verosimilitud de tokens.
La optimización directa de la métrica penaliza durante el entrenamiento, y no después, los fallos de toda la salida, como campos incorrectos o estructura rota.
La técnica es anterior a los LLM modernos, pero se combina con ellos: no fue necesario cambiar la arquitectura.
Un modelo pequeño de 7B basta una vez que el objetivo de entrenamiento coincide con la métrica con la que se juzga.
Cuando la salida debe satisfacer un formato verificable, convierta la propia verificación en la señal de entrenamiento; un truco de hace una década a nivel de secuencia puede superar a las correcciones a nivel de prompt para la generación estructurada de alcance limitado.
El artículo informa del salto del 16,20 % al 68,95 % en la tarea de estandarización de ODIN y lo presenta como evidencia de un potencial renovado para la optimización basada en riesgo en los modelos de lenguaje modernos.
CONSULTA LAS PRUEBAS