## Memo ## Memo with LLM ## Abstract ログはユビキタスなデジタルフットプリントであり、システム診断、セキュリティ分析、パフォーマンス最適化において不可欠な役割を果たしています。 ログから実用的な洞察を抽出することは、生のログを下流の分析のために構造化されたフォーマットに変換するログ解析プロセスに決定的に依存しています。 しかし、現代のシステムの複雑さとログの動的な性質は、既存の自動構文解析技術に大きな課題をもたらします。 大規模言語モデル（[[LLM]]）の出現は、新たな地平を提供します。 広範な知識と文脈に精通したLLMは、様々なアプリケーションに変革をもたらしました。 これに基づき、我々はLLM機能と統合された新しいログパーサーであるLogParser-LLMを紹介する。 この統合は、意味的な洞察と統計的なニュアンスをシームレスに融合させ、ハイパーパラメータチューニングとラベル付き学習データの必要性を排除し、オンライン構文解析による迅速な適応性を保証します。 さらに、解析の粒度の複雑な課題に取り組み、新しいメトリックを提案し、ユーザが特定のニーズに合わせて粒度を調整できるように人間とのインタラクションを統合します。 我々の手法の有効性は、[[Loghub]]-2kと大規模な[[2023__arXiv__A Large-scale Benchmark for Log Parsing|LogPub]]ベンチマークでの評価により実証されている。 LogPubベンチマークの評価では、14のデータセットで1データセットあたり平均360万のログを含むが、我々のLogParser-LLMは平均272.5回のLLM起動しか必要とせず、グルーピング精度で90.6%のF1スコア、構文解析精度で81.1%を達成した。 これらの結果は、パターンベース、ニューラルネットワークベース、および既存のLLM強化アプローチを含む、現在の最先端のログパーサーを凌駕し、このメソッドの高い効率性と精度を実証しています。