Los registros del sistema siguen una distribución de cola larga: unas pocas plantillas aparecen constantemente mientras que muchas plantillas operativamente importantes aparecen solo un puñado de veces. Un estudio empírico sobre el ampliamente utilizado benchmark Loghub-2.0 encontró que los grupos de registros poco frecuentes (menos de cinco instancias) representan casi el 20% de todas las plantillas pero menos del 0,01% de los mensajes de registro.
Debido a que las plantillas frecuentes dominan las métricas del benchmark, los resultados de la evaluación parecen optimistas mientras que el bajo rendimiento en eventos poco frecuentes permanece oculto; todos los analizadores evaluados se degradaron sustancialmente en estos grupos poco frecuentes.
TAILOR aborda esto enriqueciendo los grupos de registros poco frecuentes con mensajes de registro consistentes con la plantilla antes de la inferencia de plantillas. La evidencia estructural añadida ayuda a distinguir los tokens estáticos de las variables dinámicas, mejorando la precisión del análisis en grupos poco frecuentes en un 19% sobre la línea base más fuerte mientras mantiene un rendimiento competitivo en conjuntos de datos completos, y se generaliza a través de diferentes modelos base de LLM sin modificar sus arquitecturas centrales.
Ampliar la cola poco frecuente con mensajes sintéticos consistentes con la plantilla antes del análisis
Los grupos de registros poco frecuentes no se pueden corregir recopilando más datos: son poco frecuentes en producción por definición.
Sintetizar mensajes consistentes con la plantilla añade la variación estructural necesaria para distinguir los tokens estáticos de las variables dinámicas.
El aumento se sitúa fuera del analizador, por lo que cualquier analizador basado en LLM se beneficia sin cambios arquitectónicos.
Los promedios del benchmark ocultaban el fallo: solo un desglose por grupos poco frecuentes lo expuso.
Cuando una cola larga es poco frecuente por naturaleza, no se puede resolver recopilando más datos: sintetice ejemplos que preserven la estructura que se va a inferir, y los modelos existentes mejoran sin reentrenamiento.
El artículo informa una ganancia del 19% en precisión de análisis en grupos de registros poco frecuentes sobre la línea base más fuerte, un rendimiento competitivo en conjuntos de datos completos y mejoras consistentes a través de diferentes modelos base de LLM sin modificar sus arquitecturas centrales.
CONSULTA LAS PRUEBAS
Las fuentes
- TAILOR: Template-Preserving Augmentation for Long-Tailed Log Parsing arXiv · arxiv.org ·