Die Outage Data Initiative Nationwide (ODIN) sammelt heterogene Stromausfallberichte, die in standardisiertes XML gemäß CIM IEC 61968-3 umgewandelt werden müssen. Ein kleines Sprachmodell, das auf die übliche Weise feinabgestimmt wurde, blieb bei einer Gesamtgenauigkeit von 16,20 % stehen.
Die Autoren setzten Minimum Risk Training (MRT) ein, das vor einem Jahrzehnt für die neuronale maschinelle Übersetzung eingeführt wurde: Statt sich auf Maximum-Likelihood-Ziele auf Token-Ebene zu stützen, optimiert das Training direkt Bewertungsmetriken auf Sequenzebene, sodass Fehler, die das Zielformat verletzen, bereits während des Trainings bestraft werden.
Mit MRT erreichte Qwen2.5-7B-Instruct bei der Aufgabe eine Gesamtgenauigkeit von 68,95 % – ein Anstieg um mehr als das Vierfache –, was die Wirksamkeit der Optimierung auf Sequenzebene für domänenspezifische strukturierte Generierung belegt, im Einklang mit jüngsten Arbeiten, die ein erneuertes Potenzial für risikobasierte Optimierung in modernen Sprachmodellen zeigen.
Direkt auf der Metrik trainieren, nach der die Ausgabe bewertet wird
Standardisiertes XML ist entweder gültig oder nicht, daher erfasst eine Metrik auf Sequenzebene das tatsächliche Ziel besser als die Token-Wahrscheinlichkeit.
Die direkte Metrikoptimierung bestraft Fehler des gesamten Outputs wie falsche Felder oder eine fehlerhafte Struktur bereits während des Trainings statt danach.
Die Technik ist älter als moderne LLMs, lässt sich aber mit ihnen kombinieren: Es war keine Änderung der Architektur nötig.
Ein kleines 7B-Modell genügt, sobald das Trainingsziel mit der bewerteten Metrik übereinstimmt.
Wenn die Ausgabe ein prüfbares Format erfüllen muss, sollte die Prüfung selbst als Trainingssignal dienen; ein jahrzehntealter Trick auf Sequenzebene kann bei enger strukturierter Generierung Prompt-basierte Korrekturen übertreffen.
Die Arbeit berichtet den Sprung von 16,20 % auf 68,95 % bei ODINs Standardisierungsaufgabe und stellt ihn als Beleg für ein erneuertes Potenzial risikobasierter Optimierung in modernen Sprachmodellen dar.
DEN BELEGEN FOLGEN