## Memo 東京大学 情報理工学系研究科 創造情報学専攻 博士論文 **背景:** システムの規模の拡大および複雑化に伴いシステムログをはじめとした運用データ の規模は増大しており、効率的な活用のため自動解析技術への需要が高まっている。 **問題意識:** 既存技術の多くが過剰な情報抽出により運用上真に有用な情報を埋もれさせてしまっている。 **先行手法の課題** - ログを対象とする既存の因果解析技術は障害の周辺イベントを対象とした診 断の形を取るものが主流であり、解析の効率化のため扱うデータの範囲に制限が発生する - システムごとの汎用性を考慮して統計的な性質を主とする手法であり、システムログを出力するシステムの性質に踏み込んだものではなかった **提案手法** - システムログの自動解析によりログ中のイベント間の因果関係を推定する技術 (因果推論に基づくグラフ解析手法であるPCアルゴリズム) - ネットワークシステムのログの構造に関する知見に基づく手法選択及び前処理・後処理 1. ログのフォーマットの半言語的構造に基づく Log template の生成手法 2. ログ出力の周期性・恒常性に基づく時系列の前処理手法 3. ログデータの時系列的なスパース性を考慮した条件付き独立検定手法 4. 得られる因果関係の恒常性に着目した因果DAGの後処理手法 **評価** - SINET環境で、発生した大規模な障害の 74% において運用者にとって有用な因果情報の検出 に成功 システムログ解析により得られる情報がトラブルシューティングにおいて実践的な有用性をもつ条件 1. 人手では見落としやすい情報を検出できること 2. 得られる情報が人手で扱える規模まで精選、あるいは区別されていること [[Pcalg]] ## 4章 理論的背景 ### 4.3.1 [[G2検定|G2試験]] ## 7章 要素技術の検証 - [[Fisher-Z検定|Fisher-Z試験]]は [[G2検定|G2試験]]と比べてより多くの閉じた三角形のエッジを形成することがわかる。 - トラブルシューティングにおいては、そのような三角形のエッジが因果 関係として得られることは望ましくない。現実的なネットワークイベントにおいて、3 つ以上 のイベントが互いに依存し合っている状況は考えにくい。 - Fisher-Z 試験は入力データとして正規分布のデータを前提 - アクセスログなどのように十分大きくかつ正規分布として扱えるデータであ れば、Fisher-Z 試験は正しく動作する - 本研究で扱うネットワーク機器のイベントロ グは時系列上スパースであり、正規分布ではない。