Les journaux système suivent une distribution à longue traîne : quelques modèles apparaissent constamment tandis que de nombreux modèles importants sur le plan opérationnel n'apparaissent qu'une poignée de fois. Une étude empirique sur le benchmark largement utilisé Loghub-2.0 a constaté que les groupes de journaux rares (moins de cinq instances) représentent près de 20 % de tous les modèles mais moins de 0,01 % des messages de journal.
Comme les modèles fréquents dominent les métriques du benchmark, les résultats d'évaluation paraissent optimistes tandis que les mauvaises performances sur les événements rares restent masquées ; tous les analyseurs évalués se dégradaient sensiblement sur ces groupes rares.
TAILOR y remédie en enrichissant les groupes de journaux rares avec des messages de journal cohérents avec les modèles avant l'inférence des modèles. Les preuves structurelles ajoutées aident à distinguer les jetons statiques des variables dynamiques, améliorant la précision d'analyse sur les groupes rares de 19 % par rapport à la meilleure référence tout en conservant des performances compétitives sur les jeux de données complets, et cela se généralise à différents socles de LLM sans modifier leurs architectures de base.
Développer la queue rare avec des messages synthétiques cohérents avec les modèles avant l'analyse
Les groupes de journaux rares ne peuvent pas être corrigés en collectant davantage de données — ils sont rares en production par définition.
Synthétiser des messages cohérents avec les modèles ajoute la variation structurelle nécessaire pour distinguer les jetons statiques des variables dynamiques.
L'enrichissement se situe en dehors de l'analyseur, de sorte que tout analyseur basé sur un LLM en bénéficie sans modifications architecturales.
Les moyennes du benchmark masquaient la défaillance : seule une ventilation par groupe rare l'a exposée.
Lorsqu'une longue traîne est rare par nature, on ne peut pas s'en sortir en collectant : synthétisez des exemples qui préservent la structure à inférer, et les modèles existants s'améliorent sans réentraînement.
Suites
L'article rapporte un gain de précision d'analyse de 19 % sur les groupes de journaux rares par rapport à la meilleure référence, des performances compétitives sur les jeux de données complets, et des améliorations constantes sur différents socles de LLM sans modifier leurs architectures de base.
VÉRIFIEZ LES SOURCES
Les sources
- TAILOR: Template-Preserving Augmentation for Long-Tailed Log Parsing arXiv · arxiv.org ·