TAILOR erweitert seltene Log-Gruppen template-konsistent, um Long-Tail-Log-Parsing zu verbessern

Systemprotokolle folgen einer Long-Tail-Verteilung: Einige wenige Templates erscheinen ständig, während viele betrieblich wichtige Templates nur eine Handvoll Male auftreten. Eine empirische Studie auf dem weit verbreiteten Benchmark Loghub-2.0 ergab, dass seltene Log-Gruppen (weniger als fünf Instanzen) fast 20 % aller Templates, aber weniger als 0,01 % der Log-Meldungen ausmachen.

Da häufige Templates die Benchmark-Metriken dominieren, wirken die Evaluationsergebnisse optimistisch, während schwache Leistungen bei seltenen Ereignissen verborgen bleiben; alle evaluierten Parser verschlechterten sich bei diesen seltenen Gruppen erheblich.

TAILOR begegnet dem, indem seltene Log-Gruppen vor der Template-Inferenz mit template-konsistenten Log-Meldungen angereichert werden. Die hinzugefügte strukturelle Evidenz hilft, statische Tokens von dynamischen Variablen zu unterscheiden, und verbessert die Parsing-Genauigkeit bei seltenen Gruppen um 19 % gegenüber der stärksten Baseline, während auf vollständigen Datensätzen eine wettbewerbsfähige Leistung erhalten bleibt; zudem generalisiert es über verschiedene LLM-Backbones hinweg, ohne deren Kernarchitekturen zu verändern.

Den seltenen Tail vor dem Parsing mit template-konsistenten synthetischen Meldungen vergrößern

Seltene Log-Gruppen lassen sich nicht durch das Sammeln weiterer Daten beheben – sie sind per Definition in der Produktion selten.

Die Synthese template-konsistenter Meldungen fügt die strukturelle Variation hinzu, die nötig ist, um statische Tokens von dynamischen Variablen zu unterscheiden.

Die Augmentierung liegt außerhalb des Parsers, sodass jeder LLM-basierte Parser davon profitiert, ohne architektonische Änderungen.

Benchmark-Durchschnitte verdeckten das Versagen: Nur eine Aufschlüsselung nach seltenen Gruppen legte es offen.

Wenn ein Long Tail von Natur aus selten ist, kann man sich nicht durch Sammeln herausarbeiten: Man synthetisiert Beispiele, die die zu inferierende Struktur bewahren, und bestehende Modelle verbessern sich ohne erneutes Training.

Die Arbeit berichtet von einem Zuwachs der Parsing-Genauigkeit um 19 % bei seltenen Log-Gruppen gegenüber der stärksten Baseline, von wettbewerbsfähiger Leistung auf vollständigen Datensätzen und von konsistenten Verbesserungen über verschiedene LLM-Backbones hinweg, ohne deren Kernarchitekturen zu verändern.