TAILORは希少なロググループをテンプレート整合的に拡張し、ロングテールのログ解析精度を向上させる

システムログはロングテール分布に従う。すなわち、少数のテンプレートが常に出現する一方で、運用上重要な多くのテンプレートはごく数回しか出現しない。広く使われているLoghub-2.0ベンチマークに関する実証研究では、希少なロググループ（インスタンス数が5未満）が全テンプレートのほぼ20%を占めるものの、ログメッセージ全体の0.01%未満にすぎないことが判明した。

頻出テンプレートがベンチマーク指標を支配するため、評価結果は楽観的に見える一方で、希少な事象に対する性能の低さは隠れたままになる。評価対象となったすべてのパーサーは、これらの希少グループで大幅に性能が低下した。

TAILORは、テンプレート推論の前に希少なロググループをテンプレート整合的なログメッセージで拡充することで、この問題に対処する。追加された構造的証拠は静的トークンと動的変数の区別に役立ち、希少グループでの解析精度を最強のベースライン比で19%向上させつつ、完全なデータセットでは競争力のある性能を維持する。また、中核アーキテクチャを変更することなく、さまざまなLLMバックボーンに汎用できる。

解析の前に、テンプレート整合的な合成メッセージで希少なテールを拡充する

希少なロググループは、データをさらに収集しても解決できない。定義上、本番環境では希少だからである。

テンプレート整合的なメッセージを合成することで、静的トークンと動的変数を区別するために必要な構造的変動が加わる。

拡張はパーサーの外部で行われるため、アーキテクチャを変更することなく、あらゆるLLMベースのパーサーが恩恵を受ける。

ベンチマークの平均値は失敗を隠していた。希少グループ別の内訳によってのみ、それが明らかになった。

ロングテールが本質的に希少である場合、データ収集だけでは解決できない。推論すべき構造を保持した例を合成すれば、既存のモデルは再学習なしに改善する。

論文は、希少なロググループでの解析精度が最強のベースライン比で19%向上したこと、完全なデータセットでは競争力のある性能を示したこと、そして中核アーキテクチャを変更することなくさまざまなLLMバックボーンにわたって一貫した改善が見られたことを報告している。