TAILOR, 희귀 로그 그룹을 템플릿 일관성 있게 증강하여 롱테일 로그 파싱을 향상시키다

시스템 로그는 롱테일 분포를 따른다. 소수의 템플릿은 끊임없이 등장하는 반면, 운영상 중요한 많은 템플릿은 극소수만 등장한다. 널리 사용되는 Loghub-2.0 벤치마크에 대한 실증 연구에 따르면, 희귀 로그 그룹(인스턴스 5개 미만)은 전체 템플릿의 거의 20%를 차지하지만 로그 메시지의 0.01% 미만에 불과하다.

빈번한 템플릿이 벤치마크 지표를 지배하기 때문에 평가 결과는 낙관적으로 보이지만 희귀 이벤트에 대한 저조한 성능은 드러나지 않는다. 평가된 모든 파서는 이러한 희귀 그룹에서 상당히 성능이 저하되었다.

TAILOR는 템플릿 추론 전에 희귀 로그 그룹을 템플릿과 일관된 로그 메시지로 보강하여 이 문제를 해결한다. 추가된 구조적 증거는 정적 토큰과 동적 변수를 구별하는 데 도움을 주어, 희귀 그룹에서의 파싱 정확도를 가장 강력한 기준선 대비 19% 향상시키면서 전체 데이터셋에서는 경쟁력 있는 성능을 유지하며, 핵심 아키텍처를 수정하지 않고도 다양한 LLM 백본 전반에 일반화된다.

파싱 전에 템플릿과 일관된 합성 메시지로 희귀 꼬리를 키운다

희귀 로그 그룹은 데이터를 더 수집한다고 해결되지 않는다. 정의상 운영 환경에서 희귀하기 때문이다.

템플릿과 일관된 메시지를 합성하면 정적 토큰과 동적 변수를 구별하는 데 필요한 구조적 변이를 추가할 수 있다.

증강은 파서 외부에 위치하므로 어떤 LLM 기반 파서든 아키텍처 변경 없이 이점을 얻는다.

벤치마크 평균은 실패를 가렸다. 희귀 그룹 세부 분석만이 이를 드러냈다.

롱테일이 본질적으로 희귀할 때는 수집만으로 벗어날 수 없다. 추론하려는 구조를 보존하는 예시를 합성하면 기존 모델이 재훈련 없이 개선된다.

논문은 희귀 로그 그룹에서 가장 강력한 기준선 대비 19%의 파싱 정확도 향상, 전체 데이터셋에서의 경쟁력 있는 성능, 그리고 핵심 아키텍처를 수정하지 않고도 다양한 LLM 백본 전반에서 일관된 개선을 보고한다.