# Data-Driven Techniques in Computing System Management ## 概要 計算システムの管理を、専門家の知識獲得に頼る方式から、履歴のログ・イベントデータから知識を引き出すデータ駆動型の方式へ移すための手法を体系化したサーベイである。ログからのイベント生成、イベントパターンのマイニング、時間ラグの発見、イベント要約、問題診断の 5 領域を、生ログ・性能時系列・システムイベント・監視イベント・インシデントチケットの 5 種のデータにわたって扱う。 > [!abstract] 概要(abstract の日本語訳) > 現代の計算システムは、異種のハードウェア・ソフトウェアコンポーネントの数が増え、しだいに複雑になっている。その結果、こうした複雑なシステムを管理し、企業顧客が求める管理容易性・ディペンダビリティ・性能の要件を満たすことは極めて難しい。本サーベイは、計算システム管理に焦点を当て、さまざまなデータ駆動型の技術と応用を提示する。特に、多様なログデータ源を構造化イベントへ変換できるイベント生成の知的手法を紹介し、さまざまな種類のイベントパターンと対応するイベントマイニング技術を概観し、システム管理におけるさまざまなイベント要約手法と問題診断のデータ駆動型アプローチをまとめる。本サーベイが、計算システム管理におけるデータ駆動型技術の良い概観となることを望む。 ## 書誌情報 - 著者: Tao Li(Nanjing University of Posts and Telecommunications / Florida International University)、Chunqiu Zeng、Yexi Jiang、Wubai Zhou、Liang Tang(以上 Florida International University)、Zheng Liu、Yue Huang(Nanjing University of Posts and Telecommunications) - 媒体: ACM Computing Surveys 50(3), Article 45, 2017 年 7 月(43 ページ) - DOI: 10.1145/3092697 / https://doi.org/10.1145/3092697 - 構成: 全 7 節(本文は 6 節を章 source 化。第 7 節の結論は本ページに要約) - 既存の単一ノート: [[papers/2017__CSUR__Data-Driven Techniques in Computing System Management]] ## 構成と主要テーマ データ駆動型管理の枠組み(ログデータ整理・リアルタイム解析・オフライン解析)に沿って、履歴データの整理から知識庫の構築、問題診断への応用へと進む。 → [[@2017__CSUR__Data-Driven Techniques in Computing System Management - Chapter 1 Data-Driven System Management]] — 専門家依存の知識獲得を、ログ・イベントの履歴から知識を引き出すデータ駆動型管理(ログデータ整理・リアルタイム解析・オフライン解析の 3 構成)に置き換える枠組みを示し、5 種の対象データ、既存サーベイとの差、全体構成を述べる導入節。 → [[@2017__CSUR__Data-Driven Techniques in Computing System Management - Chapter 2 Event Generation from Logs to Events]] — テキストログを離散イベントへ変換する 3 系統(ログパーサ・分類・クラスタリング)を比べ、テンプレート語の同定に基づくクラスタリングを整理した節。 → [[@2017__CSUR__Data-Driven Techniques in Computing System Management - Chapter 3 Event Pattern Mining]] — 逐次・完全従属・部分周期・相互従属・T パターン、頻出エピソード、バースト、稀少イベント、時系列とイベントの相関の 9 種を、問題設定と代表アルゴリズムで分類・整理する節。 → [[@2017__CSUR__Data-Driven Techniques in Computing System Management - Chapter 4 Mining Time Lags]] — 時間ラグをパターンの鍵となる特徴とみなし、ラグを定数とみなす非パラメトリック法と、揺らぎを確率変数として EM 法で推定するパラメトリック法を紹介する節。 → [[@2017__CSUR__Data-Driven Techniques in Computing System Management - Chapter 5 Log Event Summarization]] — イベント要約をパターンマイニングを補完する探索用の概観手法と位置づけ、頻度変化型と時間ダイナミクス型の 2 分類で代表手法(セグメント化モデル、HMM、NES、多重解像度フレームワーク META)を整理する節。 → [[@2017__CSUR__Data-Driven Techniques in Computing System Management - Chapter 6 Problem Diagnosis in System Management]] — ITIL 型の障害対応(問題の識別・判定・解決)をチケット履歴のデータマイニングで支援する 4 応用を概観する節。 ## 結論(第 7 節) 著者らは、IT サービス提供者が問題の検知と解決を自動・半自動化して品質と効率を高めたいと求めていると述べ、本サーベイがデータ駆動型枠組みの構成要素であるイベント生成・前処理・システム監視・オフライン解析(時間的パターン発見と要約)・オンライン解析に焦点を当てた手法を示したと結ぶ。(本サーベイ 第 7 節) ## 位置づけと影響 既存サーベイは複合イベント処理・データストリーム処理・イベント/データマイニングに限られ、計算システム管理のデータ駆動型手法を体系的・包括的に扱うものは無いと著者らは主張する。(→ [[@2017__CSUR__Data-Driven Techniques in Computing System Management - Chapter 1 Data-Driven System Management]] §1.1、表 I) ## 関連 - 概念: [[イベントパターンマイニング]] / [[イベント間時間ラグ]] / [[ログイベント要約]] / [[ログパース]] / [[ログクラスタリング]] / [[ログベースイベント相関]] / [[根本原因分析]] / [[インシデント管理]] - 著者・組織: [[Tao Li]] / [[Liang Tang]] / [[Chunqiu Zeng]] / [[Yexi Jiang]] / [[Florida International University]] / [[Nanjing University of Posts and Telecommunications]] ## 出典 - Li, Zeng, Jiang, Zhou, Tang, Liu, Huang, "Data-Driven Techniques in Computing System Management", ACM Comput. Surv. 50(3), Article 45, 2017. 原本: `.raw/theses/csur-2017-li-data-driven-system-management/`