LLM de rapports de panne ODIN : une astuce d'entraînement vieille d'une décennie fait passer la précision de 16 % à 69 %

L'Outage Data Initiative Nationwide (ODIN) collecte des rapports de panne d'électricité hétérogènes qui doivent être transformés en XML standardisé conforme à la norme CIM IEC 61968-3. Un petit modèle de langage affiné de la manière habituelle plafonnait à 16,20 % de précision globale.

Les auteurs ont appliqué l'entraînement à risque minimal (Minimum Risk Training, MRT), introduit il y a une décennie pour la traduction automatique neuronale : au lieu de s'appuyer sur des objectifs de maximum de vraisemblance au niveau des tokens, l'entraînement optimise directement les métriques d'évaluation au niveau de la séquence, de sorte que les erreurs qui brisent le format cible sont pénalisées pendant l'entraînement.

Avec le MRT, Qwen2.5-7B-Instruct a atteint 68,95 % de précision globale sur la tâche — un bond de plus du quadruple — démontrant l'efficacité de l'optimisation au niveau de la séquence pour la génération structurée propre à un domaine, en accord avec des travaux récents montrant un potentiel renouvelé pour l'optimisation fondée sur le risque dans les modèles de langage modernes.

Entraîner directement sur la métrique selon laquelle la sortie est jugée

Le XML standardisé est soit valide, soit ne l'est pas ; une métrique au niveau de la séquence saisit donc mieux l'objectif réel que la vraisemblance des tokens.

L'optimisation directe de la métrique pénalise pendant l'entraînement, et non après, les échecs portant sur l'ensemble de la sortie, tels que des champs erronés ou une structure brisée.

La technique est antérieure aux LLM modernes mais se combine avec eux : aucun changement d'architecture n'a été nécessaire.

Un petit modèle de 7B suffit une fois que l'objectif d'entraînement correspond à la métrique d'évaluation.

Lorsque la sortie doit satisfaire un format vérifiable, faire du contrôle lui-même le signal d'entraînement ; une astuce au niveau de la séquence vieille d'une décennie peut surpasser les corrections au niveau du prompt pour une génération structurée étroite.

L'article rapporte le bond de 16,20 % à 68,95 % sur la tâche de standardisation d'ODIN et le présente comme une preuve du potentiel renouvelé de l'optimisation fondée sur le risque dans les modèles de langage modernes.