Os logs de sistema seguem uma distribuição de cauda longa: alguns templates aparecem constantemente, enquanto muitos templates operacionalmente importantes aparecem apenas algumas vezes. Um estudo empírico no amplamente utilizado benchmark Loghub-2.0 constatou que grupos de logs raros (menos de cinco instâncias) correspondem a quase 20% de todos os templates, mas a menos de 0,01% das mensagens de log.

Como os templates frequentes dominam as métricas do benchmark, os resultados de avaliação parecem otimistas enquanto o desempenho ruim em eventos raros permanece oculto; todos os analisadores avaliados degradaram substancialmente nesses grupos raros.

O TAILOR aborda isso enriquecendo grupos de logs raros com mensagens de log consistentes com o template antes da inferência de templates. A evidência estrutural adicionada ajuda a distinguir tokens estáticos de variáveis dinâmicas, melhorando a acurácia de análise em grupos raros em 19% em relação à linha de base mais forte, mantendo desempenho competitivo em conjuntos de dados completos, e generaliza entre diferentes backbones de LLM sem modificar suas arquiteturas centrais.

Ampliar a cauda rara com mensagens sintéticas consistentes com o template antes da análise

Grupos de logs raros não podem ser corrigidos coletando mais dados — eles são raros em produção por definição.

Sintetizar mensagens consistentes com o template adiciona a variação estrutural necessária para distinguir tokens estáticos de variáveis dinâmicas.

O aumento fica fora do analisador, então qualquer analisador baseado em LLM se beneficia sem mudanças arquiteturais.

As médias do benchmark ocultavam a falha: apenas uma análise detalhada dos grupos raros a expôs.

Quando uma cauda longa é rara por natureza, não se pode resolver coletando mais: sintetize exemplos que preservem a estrutura a ser inferida, e os modelos existentes melhoram sem retreinamento.

O artigo relata um ganho de 19% na acurácia de análise em grupos de logs raros em relação à linha de base mais forte, desempenho competitivo em conjuntos de dados completos e melhorias consistentes entre diferentes backbones de LLM sem modificar suas arquiteturas centrais.

CONFIRA AS EVIDÊNCIAS

As fontes

  1. TAILOR: Template-Preserving Augmentation for Long-Tailed Log Parsing arXiv · arxiv.org ·