ODIN 停電報告 LLM：十年前的訓練技巧將準確率從 16% 提升至 69%

Outage Data Initiative Nationwide（ODIN）蒐集異質的停電報告，這些報告必須轉換為符合 CIM IEC 61968-3 的標準化 XML。一個以常規方式微調的小型語言模型，整體準確率停滯在 16.20%。

作者採用了十年前為神經機器翻譯提出的最小風險訓練（Minimum Risk Training，MRT）：不再依賴詞元層級的最大似然目標，而是讓訓練直接最佳化序列層級的評估指標，因此破壞目標格式的錯誤會在訓練期間受到懲罰。

採用 MRT 後，Qwen2.5-7B-Instruct 在該任務上達到 68.95% 的整體準確率——提升超過四倍——顯示序列層級最佳化對領域特定的結構化生成確實有效，這也與近期研究相符：風險式最佳化在現代語言模型中展現出重新煥發的潛力。

直接以評判輸出所用的指標進行訓練

標準化 XML 只有通過驗證或不通過驗證兩種結果，因此序列層級指標比詞元似然更能掌握真正的目標。

直接最佳化指標會在訓練期間懲罰整份輸出的失敗，例如欄位錯誤或結構破損，而非等到訓練之後才處理。

這項技術早於現代 LLM，但能與之相容：不需要更動架構。

只要訓練目標與評判指標一致，一個 7B 的小型模型便已足夠。

當輸出必須符合可檢核的格式時，就讓檢核本身成為訓練訊號；對於狹窄的結構化生成任務，十年前的序列層級技巧可能勝過提示層級的修正。

該論文報告了 ODIN 標準化任務上從 16.20% 到 68.95% 的躍升，並將其定位為風險式最佳化在現代語言模型中重現潛力的證據。