## Memo ## Memo with LLM ## Abstract コンピュータシステムの複雑化に伴い、従来の手作業によるログ解析にとどまらず、故障やエラーの管理に対する革新的なアプローチが必要とされている。大規模言語モデル（[[LLM]]）を使用する既存のソリューションは有望であるが、自然言語とドメイン固有言語の間のギャップによって制限されており、実世界のアプリケーションにおける有効性が制限されている。私たちのアプローチは、オープンソースのLLMに解釈可能なドメイン知識を継続的な事前学習（CPT）を通して統合することで、自然言語処理能力を維持しながらログタスクのパフォーマンスを向上させ、これらの制限に対処します。我々は、この統合を促進するために、250,000以上の質問と回答のペアを持つ包括的なデータセット、NLPLogを作成しました。このデータセットを用いて学習した我々のモデルSuperLogは、4つのログ解析タスクにおいて最高の性能を達成し、2位のモデルを平均12.01%上回った。我々の貢献には、モデルの性能を大幅に向上させる新しいCPTパラダイム、最先端の結果を持つSuperLogの開発、この領域での更なる研究を支援する大規模データセットのリリースが含まれる。