## Memo ## Memo with LLM ## Abstract ログの解析では、半構造化ログから適切なテンプレートを抽出して、異常検知やログの理解など、その後のログ解析タスクの基礎となる情報を提供します。当初、ログ解析の作業は、テンプレートを抽出するための経験則に基づくルールを手動で設計するドメインの専門家によって行われていました。しかし、新しいログデータセットの特定の特性が事前に設計されたルールに適合しない場合、これらの手動ルールは有効性を失います。これらの問題に対処するために、ログ解析に大規模言語モデル（[[LLM]]）を導入したところ、有望な結果が得られました。しかし、2つの限界があります。1つは、プロンプト内で手動で注釈付けされたテンプレートに依存していること、もう1つは、ログ処理の効率が低いことです。これらの課題に対処するために、我々は自己進化型手法であるSelfLogを提案します。この手法では、履歴データからLLM自体が抽出した類似した<グループ、テンプレート>のペアを、新しいログのプロンプトとして使用することで、モデルが自己進化し、ラベルフリーの方法で学習できるようにします。一方、N-Gramに基づくグルーピングとログヒット機能も提案しています。このアプローチは、ログ単位ではなくグループ単位でテンプレートを抽出することでLLMの解析性能を向上させるだけでなく、グループテンプレートがすでに履歴から抽出されているログに対するLLMへの不要な呼び出しを大幅に削減します。私たちは、数千万件のログを含む16の公開データセットでSelfLogの性能と効率を評価しました。実験により、SelfLogが0.975のGAと0.942のPAで最先端（SOTA）のレベルを達成していることが実証されました。さらに重要なのは、精度を犠牲にすることなく、処理速度が1秒あたり45,000件のログという驚異的な数値に達していることです。