ODIN停電報告LLM：10年前の学習テクニックが精度を16%から69%に引き上げる

Outage Data Initiative Nationwide（ODIN）は、CIM IEC 61968-3に準拠した標準化XMLへ変換する必要がある異種の停電報告を収集している。通常の方法でファインチューニングした小規模言語モデルは、全体精度16.20%で頭打ちになった。

著者らは、10年前にニューラル機械翻訳向けに導入されたMinimum Risk Training（MRT）を適用した。トークンレベルの最尤目的関数に頼るのではなく、学習時に系列レベルの評価指標を直接最適化するため、対象の形式を壊す誤りが学習中に罰せられる。

MRTにより、Qwen2.5-7B-Instructはこのタスクで全体精度68.95%に達した。これは4倍以上の飛躍であり、ドメイン固有の構造化生成における系列レベル最適化の有効性を示すもので、現代の言語モデルにおけるリスクベース最適化の新たな可能性を示した最近の研究と一致する。

出力が評価される指標で直接学習する

標準化XMLは検証に通るか通らないかのいずれかであるため、系列レベルの指標はトークン尤度よりも実際の目的をよく捉える。

指標の直接最適化は、誤ったフィールドや壊れた構造といった出力全体の失敗を、事後ではなく学習中に罰する。

この手法は現代のLLMより前から存在するが、LLMと組み合わせることができる。アーキテクチャの変更は不要だった。

学習目的が評価指標と一致すれば、小規模な7Bモデルで十分である。

出力が検証可能な形式を満たす必要がある場合、検証自体を学習シグナルにすればよい。10年前の系列レベルのテクニックは、狭い構造化生成においてプロンプトレベルの修正を上回ることがある。

論文はODINの標準化タスクにおける16.20%から68.95%への飛躍を報告し、現代の言語モデルにおけるリスクベース最適化の新たな可能性の証拠として位置づけている。