# Anomaly Detection - A Survey ## 概要 Varun Chandola・Arindam Banerjee・Vipin Kumar(University of Minnesota)による ACM Computing Surveys 2009 掲載のサーベイ。異常検知分野で最も引用される総説の 1 つである。この論文の方法論上の特徴は、手法を応用分野やアルゴリズムの系統ではなく、**各カテゴリが「正常と異常を区別するために置いている仮定」**で束ねた点にある。カテゴリごとにまず基本技法(basic technique)を提示し、既存の個別手法をその変種として説明するという記述様式を採ることで、手法の数に対して理解の負荷が線形に増えない構成を実現している。この「仮定を明示する」枠組みは、ある技法を新しい応用領域へ持ち込むときの適合性判断の指針として提示されている。 > [!abstract] 概要(abstract の日本語訳) > 異常検知は重要な問題であり、多様な研究領域と応用分野において研究されてきた。多くの異常検知技法は特定の応用分野向けに専用に開発されてきたが、より汎用的なものもある。本サーベイは、異常検知の研究について構造化された包括的な概観を与えることを試みる。我々は既存の技法を、各技法が採用する基礎的なアプローチに基づいて異なるカテゴリへ分類した。各カテゴリについて、技法が正常な挙動と異常な挙動を区別するために用いる主要な仮定を同定した。ある技法を特定の領域へ適用するとき、これらの仮定は、その領域におけるその技法の有効性を評価する指針として使える。各カテゴリについて、基本的な異常検知技法を示し、次にそのカテゴリに属する既存の多様な技法がその基本技法の変種としてどう位置づけられるかを示す。この雛形により、あるカテゴリに属する技法の理解が容易かつ簡潔になる。 ## 書誌情報 - 著者: Varun Chandola, Arindam Banerjee, Vipin Kumar(University of Minnesota) - 媒体: ACM Computing Surveys 41(3), Article 15 - 発表: 2009-07 - URL: https://doi.org/10.1145/1541880.1541882 - 構成: 全 12 章(58 PDF ページ) - 原本: `.raw/theses/survey-chandola-2009-anomaly-detection/` ## 構成と主要テーマ 本サーベイは「問題を定義する(第 1〜3 章)→ 技法をカテゴリごとに解剖する(第 4〜9 章)→ 拡張と横断比較で締める(第 10〜12 章)」という 3 部構成を取る。中核は第 4〜9 章で、**6 つのカテゴリすべてが「仮定 → 基本技法 → 下位分類 → 計算量 → 利点と欠点」という同一の型で記述される**。この型の反復が、カテゴリ間の比較を読者の側で成立させている。 ### 第 I 部相当: 問題の定義(第 1〜3 章) → [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 1 Introduction]] — 異常検知をノイズ除去・ノイズ許容・ノベルティ検知から定義的に切り分け、6 つの困難要因を挙げ、本サーベイ固有の記述様式(仮定明示 + 基本技法テンプレート)を宣言する。 → [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 2 Different Aspects of an Anomaly Detection Problem]] — 入力データの性質・異常の種類(**点異常・文脈異常・集合異常**)・ラベル可用性(教師あり/半教師あり/教師なし)・出力形式(スコア/ラベル)という 4 軸で問題を定式化する。 → [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 3 Applications of Anomaly Detection]] — 侵入検知・不正検知・医療/公衆衛生・産業被害検知・画像処理・テキスト・センサネットワークの 7 分野を、異常の概念/データの性質/課題/技法の 4 側面で横断整理する。 ### 第 II 部相当: 技法カテゴリの解剖(第 4〜9 章) → [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 4 Classification Based Anomaly Detection Techniques]] — 仮定: 正常と異常を区別する識別器が特徴空間上で学習できる。多クラス/一クラスに分かれ、ニューラルネットワーク・ベイジアンネットワーク・SVM・ルールベースの 4 群。 → [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 5 Nearest Neighbor-Based Anomaly Detection Techniques]] — 仮定: 正常は密な近傍を持ち、異常の近傍は疎である。k 番目近傍距離ベースと相対密度ベース(LOF・COF・ODIN・MDEF)の 2 群。O(N²) が共通の課題。 → [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 6 Clustering-Based Anomaly Detection Techniques]] — 仮定が 3 通り(クラスタに属さない/重心から遠い/小さく疎なクラスタに属する)に分かれる。第 3 の仮定は第 2 の弱点(異常自身のクラスタ化)への対処として導入される。 → [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 7 Statistical Anomaly Detection Techniques]] — 仮定: 正常は確率モデルの高確率領域に、異常は低確率領域に生じる。パラメトリック(ガウシアン・回帰・混合分布)とノンパラメトリック(ヒストグラム・カーネル関数)の 2 系統。 → [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 8 Information Theoretic Anomaly Detection Techniques]] — 仮定: 異常はデータ集合の情報量に不規則性をもたらす。C(D)−C(D−I) を最大化する最小部分集合を求めるパレート最適化として定式化される。 → [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 9 Spectral Anomaly Detection Techniques]] — 仮定: 正常と異常が顕著に異なって現れる低次元部分空間へデータを埋め込める。PCA 系とグラフ時系列向け特異ベクトル分解。 ### 第 III 部相当: 拡張と横断比較(第 10〜12 章) → [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 10 Handling Contextual Anomalies]] — 点異常向け技法を文脈異常・集合異常へ拡張する 2 経路(点異常検知への**還元** / データ内の**構造の利用**)。 → [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 11 Relative Strengths and Weaknesses of Anomaly Detection Techniques]] — 訓練/検証コスト・ラベル要求・距離尺度への依存・異常の希少性仮定という 4 つの運用指向の軸でカテゴリを横並び比較する。 → [[@2009__CSUR__Anomaly Detection - A Survey - Chapter 12 Concluding Remarks and Future Work]] — 各カテゴリの仮定を統一的な統計・機械学習の枠組みへ統合することを課題とし、文脈/集合異常・分散/プライバシー保護・センサネットワーク向けオンライン処理・複雑システムへの適用という 4 方向を示す。 ## 位置づけと影響 - **この論文の方法論上の寄与は分類そのものではなく「分類の切り方」にある**。手法を応用分野やアルゴリズムの系統ではなく、**各カテゴリが正常と異常を区別するために置いている仮定**で束ねた。仮定が明示されていれば、ある技法を新しい応用領域へ持ち込むときの適合性が事前に判断できる。第 3 章(応用分野ごとの制約)と第 4〜9 章(カテゴリごとの仮定)を突き合わせる読み方が、この構成の狙いである。 - **章分割して初めて見えたこと**: 6 カテゴリの仮定を並べると、仮定が「単数か複数か」でカテゴリの性格が分かれる。分類ベース・最近傍ベース・統計的・情報理論的・スペクトル的はいずれも単一の仮定を置くが、**クラスタリングベースだけは 3 つの仮定に分かれ、しかもそれらは互いの弱点を補う形で系列をなす**(クラスタ非所属 → 重心からの距離 → クラスタのサイズと密度)。第 6 章はこの系列を「異常自身がクラスタを形成する場合に第 2 の仮定が破れる」という形で明示しており、カテゴリ内部に自己修正の履歴が畳み込まれている。 - **第 11 章は第 4〜9 章の仮定を統一表にはしない**。比較軸として実際に採るのは訓練/検証コスト・ラベル要求・距離尺度依存・希少性仮定という運用指向の 4 軸であり、仮定そのものの統一的整理は第 12 章で「今後の課題」として先送りされる。仮定を明示する枠組みを立てた論文自身が、その統合は未達だと認めている点は本サーベイの構造を読むうえで重要である。 ## 関連 - 概念: [[異常検知]] / [[変化点検知]] / [[根本原因分析]] / [[時系列異常検知ベンチマーク]] ## 出典 - Varun Chandola, Arindam Banerjee, and Vipin Kumar, "Anomaly Detection: A Survey", *ACM Computing Surveys*, 41(3), Article 15, 2009.