解決方案
系統日誌呈現長尾分布:少數模板持續出現,而許多在維運上重要的模板卻只出現寥寥數次。一項針對廣泛使用的 Loghub-2.0 基準所做的實證研究發現,稀有日誌群組(實例少於五個)占所有模板近 20%,卻只占日誌訊息不到 0.01%。
由於高頻模板主導了基準指標,評估結果看起來樂觀,而對稀有事件的糟糕表現則被掩蓋;所有受評估的解析器在這些稀有群組上都明顯退化。
TAILOR 的作法是在進行模板推論之前,以與模板一致的日誌訊息擴充稀有日誌群組。新增的結構性證據有助於區分靜態詞元與動態變數,使稀有群組的解析準確率較最強基線提升 19%,同時在完整資料集上維持具競爭力的表現,並且能推廣到不同的 LLM 主幹,而無須修改其核心架構。
成果
在解析之前,以與模板一致的合成訊息擴充稀有的長尾
奏效的原因
稀有日誌群組無法靠蒐集更多資料來解決——它們在生產環境中依定義就是稀有的。
合成與模板一致的訊息,可補上區分靜態詞元與動態變數所需的結構性變化。
擴充位於解析器之外,因此任何以 LLM 為基礎的解析器都能受益,而無須更動架構。
基準平均值掩蓋了失敗:只有針對稀有群組的細分才揭露了這一點。
可套用之處
當長尾本質上就稀有時,無法靠蒐集資料擺脫困境:合成能保留待推論結構的範例,既有模型便能無須重新訓練而獲得改善。
後續
該論文報告,稀有日誌群組的解析準確率較最強基線提升 19%,在完整資料集上具競爭力,並且在不同的 LLM 主幹上皆有一致的改善,而無須修改其核心架構。
追溯依據
參考來源
- TAILOR: Template-Preserving Augmentation for Long-Tailed Log Parsing arXiv · arxiv.org ·