## Memo ## Memo with LLM ## Abstract ソフトウェアシステムは、トラブルシューティングに役立つ重要な実行時情報をログに記録することが多い。ログベースの異常検知は、ログデータを通じてシステムの問題を特定し、最終的にソフトウェアシステムの信頼性を高めることを目的とした重要な研究分野となっている。従来のディープラーニング手法は、一般的に自然言語で構成されるログデータに埋め込まれた意味情報を捉えるのに苦労することが多い。本稿では、大規模言語モデル（[[LLM]]）を活用したログベースの異常検知フレームワークであるLogLLMを提案する。LogLLMは、ログメッセージから意味ベクトルを抽出するためにBERTを採用し、ログシーケンスを分類するために変換デコーダベースのモデルであるLlamaを利用する。さらに、BERTとLlamaのベクトル表現空間を整列させるプロジェクターを導入し、ログのセマンティクスの一貫した理解を保証する。テンプレートを抽出するためにログパーサを必要とする従来の方法とは異なり、LogLLMは、正規表現でログメッセージを前処理し、プロセス全体を合理化する。我々のフレームワークは、性能と適応性を高めるために設計された新しい3段階の手順で学習される。4つの公開データセットでの実験結果は、LogLLMが最先端の手法を凌駕することを示している。不安定なログを扱う場合でも、ログメッセージのセマンティックな意味を効果的に捉え、異常を正確に検出する。