# LogAnomaly: Unsupervised Detection of Sequential and Quantitative Anomalies in Unstructured Logs
Created: January 22, 2021 10:52 AM
URL: https://www.ijcai.org/Proceedings/2019/658
Year: 2019
# Abstract
Recording runtime status via logs is common for almost every computer system, and detecting anomalies in logs is crucial for timely identifying malfunctions of systems. However, manually detecting anomalies for logs is time-consuming, error-prone, and infeasible. Existing automatic log anomaly detection approaches, using indexes rather than semantics of log templates, tend to cause false alarms. In this work, we propose LogAnomaly, a framework to model unstructured a log stream as a natural language sequence. Empowered by template2vec, a novel, simple yet effective method to extract the semantic information hidden in log templates, LogAnomaly can detect both sequential and quantitive log anomalies simultaneously, which were not done by any previous work. Moreover, LogAnomaly can avoid the false alarms caused by the newly appearing log templates between periodic model retrainings. Our evaluation on two public production log datasets show that LogAnomaly outperforms existing log-based anomaly detection methods.
(以下,DeepL翻訳)
ログを介して実行時の状態を記録することは、ほとんどすべてのコンピュータシステムで一般的であり、システムの故障をタイムリーに発見するためには、ログの異常を検出することが重要です。しかし、ログの異常を手動で検出するのは、時間がかかり、エラーが発生しやすく、実行不可能です。既存の自動ログ異常検出アプローチは、ログテンプレートのセマンティクスではなくインデックスを使用しているため、誤報を引き起こす傾向があります。本研究では、非構造化ログストリームを自然言語シーケンスとしてモデル化するフレームワークであるLogAnomalyを提案する。LogAnomalyは、ログテンプレートに隠された意味情報を抽出する新しいシンプルで効果的な手法であるtemplate2vecを用いて、これまでの研究では不可能であった逐次的なログ異常と定量的なログ異常の両方を同時に検出することができる。さらに、LogAnomalyは、定期的なモデル再訓練の間に新たに出現するログテンプレートに起因する誤報を回避することができます。2つの公開ログデータセットでの評価では、LogAnomalyが既存のログベースの異常検出手法よりも優れていることが示されています。