ODIN 장애 보고서 LLM: 10년 된 학습 기법이 정확도를 16%에서 69%로 끌어올리다

전국 정전 데이터 이니셔티브(Outage Data Initiative Nationwide, ODIN)는 CIM IEC 61968-3을 준수하는 표준화된 XML로 변환해야 하는 이기종 정전 보고서를 수집한다. 일반적인 방식으로 미세 조정된 소형 언어 모델은 전체 정확도 16.20%에서 정체되었다.

저자들은 10년 전 신경 기계 번역을 위해 도입된 최소 위험 학습(Minimum Risk Training, MRT)을 적용했다. 이는 토큰 수준의 최대 우도 목표에 의존하는 대신 학습 중에 시퀀스 수준 평가 지표를 직접 최적화하여, 대상 형식을 깨뜨리는 오류가 학습 중에 페널티를 받도록 한다.

MRT를 적용하자 Qwen2.5-7B-Instruct는 해당 과제에서 전체 정확도 68.95%에 도달했다. 이는 4배 이상의 상승으로, 현대 언어 모델에서 위험 기반 최적화의 새로운 가능성을 보여주는 최근 연구들과 궤를 같이하며, 도메인 특화 구조화 생성에 대한 시퀀스 수준 최적화의 효과를 입증한다.

출력이 평가받는 지표로 직접 학습하라

표준화된 XML은 검증을 통과하거나 통과하지 못하므로, 시퀀스 수준 지표가 토큰 우도보다 실제 목표를 더 잘 포착한다.

직접 지표 최적화는 잘못된 필드나 깨진 구조와 같은 전체 출력 실패에 대해 사후가 아니라 학습 중에 페널티를 부여한다.

이 기법은 현대 LLM보다 먼저 등장했지만 이들과 결합된다. 아키텍처 변경이 필요하지 않았다.

학습 목표가 평가 지표와 일치하기만 하면 7B 소형 모델로 충분하다.

출력이 검증 가능한 형식을 충족해야 할 때는 검증 자체를 학습 신호로 삼아라. 10년 된 시퀀스 수준 기법이 좁은 구조화 생성에서는 프롬프트 수준의 수정보다 나을 수 있다.

논문은 ODIN의 표준화 과제에서 16.20%에서 68.95%로의 상승을 보고하며, 이를 현대 언어 모델에서 위험 기반 최적화의 새로운 가능성에 대한 증거로 제시한다.