[[AIOps]]の[[Root Cause Analysis|RCA]]、Fault Localizationの先行手法のうち、特徴量削減処理を調査し、整理する。 ## 時系列データに対する自動特徴量削減 | Reference | Type | Time Scale | Method | Needed Tuning by Metric Type | Needed Normal Duration | | | |:--------------:| ---- | ---------- | ---------------------------------------------- | ---------------------------- | ---------------------- | --- | --- | | ε-Diagnosis | NR | Online | エネルギー距離相関に基づく２標本検定 | N | Y | | | | PatternMatcher | NR | Online | ２標本のKolmogorov–Smirnov(K-S)検定 | N | Y | | | | FluxInfer | NR | Online | 混合ガウス分布によるクラスタリング | N | N | | | | FluxRank | NR | Online | カーネル密度推定 | Y | | | | | CauseRank | NR | Online | Z-score | | | | | | TS-InvarNet | RR | Offline | 距離尺度をSBDとしたHDBSCANによるクラスタリング | N | - | | | | FluxRank | RR | Online | DBSCANと相関に基づくクラスタリング | N | - | | | | Sieve | RR | Offline | k-Shapeによるクラスタリング | N | - | | | | CauseInfer | RR | Online | ペアワイズ相関 | N | - | | | - NR 正常メトリクスの除去 - RR 冗長なメトリクスの除去 - Needed Tuning by Metric Type：メトリクス種別ごとの調整が必要であるかどうかを示す。 - Needed Normal Duration：異常検知にて正常期間の標本が必要であるかどうかを示す。 ## 列挙 - [[2022__ICWS__TS-InvarNet - Anomaly Detection and Localization based on Tempo-spatial KPI Invariants in Distributed Services|TS-InvarNet]] (2022) - オフラインの解析で、[[Shape-based distance|SBD]]と[[HDBSCAN]]を使っている。 - [[2019__WWW__ε-Diagnosis - Unsupervised and Real-time Diagnosis of Small-window Long-tail Latency in Large-scale Microservice Platforms|ε-Diagnosis]] (2019) - エネルギー相関 - [[2021__ISSRE__Identifying Root-Cause Metrics for Incident Diagnosis in Online Service Systems|PatternMatcher]] (2021) - [[K-S検定]] - [[2020__IPCCC__FluxInfer―Automatic Diagnosis of Performance Anomaly for Online Database System|FluxInfer]] (2020) - 異常検知と変化点検知 - クラスタベースのロバストな異常検知アルゴリズム - [[混合ガウス分布]] - KPI値を異なるセグメントに分割し、ノイズの多いセグメント、異常なセグメント、正常なセグメントを正確に分けることができる - [[2019__ISSRE__FluxRank―A Widely-Deployable Framework to Automatically Localizing Root Cause Machines for Software Service Failure Mitigation|FluxRank]] (2019) - 異常検知は[[カーネル密度推定|KDE]]でメトリクスの種類ごとに関数選択と帯域幅のチューニング - 絶対微分による変化開始点の検出 - 変化開始点以降が検証データ、それ以前を学習データとわける？ - 障害開始時刻以後に変化開始点をもつメトリクスは除去 - [[DBSCAN]]と[[ピアソン相関係数|ピアソンの相関]]によるクラスタリング - [[2018__Middleware__Sieve Actionable Insights from Monitored Metrics|Sieve]] (2018) - [[2015__SIGMOD__k-Shape - Efficient and Accurate Clustering of Time Series|k-Shape]] - [[2014__INFOCOM__CauseInfer―Automatic and distributed performance diagnosis with hierarchical causality graph in large distributed systems|CauseInfer]] (2014) [[2016__TSC__CauseInfer―Automated End-to-End Performance Diagnosis with Hierarchical Causality Graph in Cloud Environment]] (2016) - ピアソン相関による冗長メトリックの除去 - The metric selection is conducted in a simple pair-wise manner: if the absolute value of the Pearson correlation coefficient of two metrics exceeds a preset threshold, say 0.8 in this paper, one of them is eliminated. - ベイズ型変化点検知 [[BCP]] - 時系列データをバイナリへ変換 => G2検定へ - [[2021__ACSOS__Causal Inference Techniques for Microservice Performance Diagnosis - Evaluation and Guiding Recommendations]] - [[BIRCH]] - [[2022__CCGrid__Generic and Robust Performance Diagnosis via Causal Inference for OLTP Database Systems|CauseRank]] - [[z-scoreとn-sigmaによる異常検知]] - [[CauseRankのメトリクスの異常検知コード]]