# Collaborative Alert Ranking for Anomaly Detection > [!abstract] 概要 > 異常検知システムから生成される大量の低品質な異種カテゴリカルアラートが与えられたとき、異なるアラート間の複雑な関係をどう特徴づけ、信頼できるランキングをエンドユーザに届けるか。既存手法はアラートパターンのマイニングか偽陽性アラートのフィルタリングかどちらかに注力するが、検知精度の向上と異常システム挙動の理解をより深めるには、両視点を同時に考慮することが有利である。本論文では CAR を提案する。CAR は異種カテゴリカルアラートからの時間的・コンテンツ相関の両方を活用する協調アラートランキングフレームワークである。CAR はまず各アラートシーケンスにおける短期・長期依存性の両方を捉える階層的ベイズモデルを構築する。次に、異種カテゴリカル属性を通じてアラート間のコンテンツ相関を学習するエンティティ埋め込みベースのモデルを提案する。最後に、時間的・コンテンツ依存性の両方を統一最適化フレームワークに組み込むことで、CAR はアラートとその対応するアラートパターンの両方をランキングする。合成データと実世界の企業セキュリティアラートデータの両方を用いた実験は、CAR が真陽性アラートを正確に識別し、同時に攻撃シナリオの再構成に成功することを示す。 ## 論文情報 - **タイトル**: Collaborative Alert Ranking for Anomaly Detection - **著者・所属**: - [[Ying Lin]] — [[University of Houston]](NEC Laboratories America でのインターンシップ期間中) - [[Zhengzhang Chen]] — [[NEC Laboratories America]](corresponding author) - [[Cheng Cao]] — Amazon Inc. - [[Lu-An Tang]] — [[NEC Laboratories America]] - [[Kai Zhang (Temple University)]] — [[Temple University]] - [[Wei Cheng]] — [[NEC Laboratories America]] - [[Zhichun Li]] — [[NEC Laboratories America]] - **媒体**: CIKM 2018 (Industry and Case Study Paper)、ACM 国際情報知識管理会議第 27 回 - **発表年**: 2018-10-22 - **DOI**: 10.1145/3269206.3272013 - **URL**: https://doi.org/10.1145/3269206.3272013 - **ページ数**: 9 ページ ## 概要 企業セキュリティシステムにおけるアラートの大量偽陽性問題(FireEye 2014 年調査: 週あたり 17,000 件のアラートのうち 51% 超が偽陽性、実際に調査されるのは 4% のみ)に対処するため、NEC Laboratories America および複数大学の共同チームが提案したのが CAR(Collaborative Alert Ranking)である。CAR は教師なし・データ駆動のフレームワークで、異種カテゴリカルアラートの時間的依存性とコンテンツ相関を協調最適化問題として定式化し、個々のアラートとアラートパターン(複数ステップの異常シナリオ)を同時にランキングする。企業侵入検知システムの実データで ROC-AUC 0.998 を達成した。 ## 問題設定 - **入力**: 異常検知エンジンが生成する異種カテゴリカルアラートの集合 {a₁, ..., aT}。各アラートは m 個のカテゴリカル属性(ユーザ、時刻、送受信プロセス、ファイル等)と タイムスタンプで構成される。 - **出力**: 上位 K 件の真陽性確率の高いアラートと、長さ Lmax 以下の対応するアラートパターン(長さ L の連続アラートシーケンス)。 - **前提条件**: ラベル付き訓練データ不要(教師なし)。事前知識・事前定義の異常パターン不要(データ駆動)。 - **課題**: (1) 個別の低レベルアラートから構成される高レベルの APT(Advanced Persistent Threat)等の多段階攻撃をどう特定するか、(2) 時間的に非連続で間に偽陽性を挟んだアラート間の相関をどう捉えるか、(3) カテゴリカル属性間に本来順序関係がないコンテンツ類似度の測定をどう解決するか。 ## 提案手法 ### アーキテクチャ概要 CAR は 3 モジュールから構成される協調最適化フレームワークである。 1. **時間的依存性モデリング**: 前置木(prefix tree)ベースの階層ベイズモデルでアラートシーケンスの時間依存性を推定 2. **コンテンツ依存性モデリング**: エンティティ埋め込みモデルでカテゴリカル属性間の潜在類似度を学習 3. **協調アラートランキング**: 上記 2 つを統一最適化問題として結合し、アラートとアラートパターンの確信スコアを同時に最適化 ### 時間的依存性モデリング(§3.2) 各アラートシーケンスの関節分布をベイズ則で予測分布の積として定式化する(式 1)。 問題点: 各予測分布を独立に推定するには十分な訓練データが必要で、実環境では不足する。 解決策: **前置木(Prefix Tree)構造**を用いてアラートシーケンスを階層的にコンパクトに表現し(図 2)、上位の予測分布を下位の事前分布として再帰的に活用する。ディリクレ分布ではなく **Pitman-Yor プロセス(PY(d, c, G₀))**を各ノードに割り当てる(式 2)。Pitman-Yor プロセスはディリクレ分布の一般化で、discount パラメータ d と strength パラメータ c を持ち、階層的変数間の複雑な関係をより精度よくモデル化できる(Dirichlet 事前より有意に優れる先行研究に基づく)。 アラートパターン探索: 幅優先探索で前置木を走査し、関節分布(式 1)でパターン強度を測定。長さ制約 [Lmin, Lmax] で候補パターン集合 U を抽出する。 ### コンテンツ依存性モデリング(§3.3) 各アラートのカテゴリカルエンティティ(ホスト・ユーザ・プロセス・ファイル等)を共通の潜在空間に埋め込み、アラート内のエンティティ共起確率を Softmax 関数でモデル化する(式 3)。直接最適化は V(エンティティ全集合)のサイズのため計算コストが高いため、**ネガティブサンプリング**を用いて目的関数を最小化する(式 4)。学習された埋め込みベクトルから、コサイン類似度の重み付き組み合わせでアラートペアのコンテンツ類似度 Sᵢⱼ を計算する。 ### 協調アラートランキング(§3.4) T 件のアラートに確信スコア τ、L 件のアラートパターンに確信スコア µ を割り当てる統一最適化問題を定式化する(式 5)。 **目的関数の 3 項**: 1. アラートパターンの確信スコア µₗ を時間依存強度 pₗ に相関付ける(要件 1) 2. コンテンツ類似度 S に基づいてアラート確信スコア τ の滑らかさを強制する(要件 2) 3. アラートパターンの確信スコアとそこに含まれる個別アラートの確信スコアを近接させる(要件 3) このヘッセ行列 Q が半正定値であることを証明し、式 5 は凸最適化問題(式 6 の 2 次計画問題)として定式化できる。NNLS で効率的に解ける。チューニングパラメータ λ₁(コンテンツ平滑化の重み)と λ₂(パターンとアラートの近接度の重み)が最終ランキングを調整する。 ## 新規性 | 既存手法の限界 | CAR の解決策 | |---|---| | アラートパターン発見手法(NGRAM・HMM・Bayesian Network)はラベル付き訓練データや事前知識を要求し、偽陽性が多い実環境では機能しない | 教師なし・データ駆動で動作。事前の異常パターン定義不要 | | 偽陽性フィルタリング手法(クラスタリング・分類器)はアラート間の時間依存性を無視して独立に処理する | 時間的依存性とコンテンツ相関を統合最適化 | | マルチビュー教師なし学習(MVCluster 等)は時間的・コンテンツ相関の明示的モデリングが欠落 | 2 つの視点を統一フレームワーク内で明示的に結合 | | iBOAT は関連アラートパターンのランキングをサポートしない | アラートとアラートパターンを同時に確信スコア付き出力 | CAR の 3 性質: (1) 教師なし(ラベル不要)、(2) データ駆動(事前知識不要)、(3) 統一フレームワーク(アラートとアラートパターンを同時出力)。 ## 実験設定 - **実験環境**: 実世界の企業侵入検知システム(off-the-shelf の異常検知エンジン使用) - **データセット**: - 173 台のコンピュータから 1 ヶ月間収集した 3,322 件のアラート - 6 種の攻撃タイプに対応する 41 件の真陽性アラート(偽陽性率: ~98.8%) - 攻撃: MLS・SNO(Snowden)・BOT(Botnet)・EEE(企業環境エミュレート)・DAV(多様化攻撃ベクタ)・DCP(ドメインコントローラ侵入) - **合成データセット**: 実データから 6 種攻撃をリサンプリングし、真陽性比率を 10%/20%/30%/40%/50% に変えた 5 データセット - **比較対象(ベースライン)**: - NGRAM(時間的) / iBOAT(時間的) / Embedding(コンテンツ) / SimRank(コンテンツ) / MVCluster(マルチビュー) - **評価指標**: ROC 曲線の AUC・PRC 曲線の AUC(確信スコアあり手法)、適合率・TPR・FPR(MVCluster のスコアなし手法) - **パラメータ**: Lmin=3、Lmax=7(デフォルト)、K=50(デフォルト) ## 実験結果 ### 真陽性アラート検知(表 1・2、図 3) | 手法 | ROC-AUC | PRC-AUC | |---|---|---| | **CAR** | **0.998** | **0.719** | | NGRAM | 0.440 | 0.006 | | iBOAT | 0.140 | 0.040 | | Embedding | 0.353 | 0.003 | | SimRank | 0.258 | 0.003 | MVCluster との比較(表 2): MVCluster は TPR=1 を達成するが FPR=0.720・適合率=0.006。CAR は TPR=1・FPR=0.010・適合率=0.281 で、同等の再現率でほぼすべての偽陽性を除去する。 ### アラートパターン復元(表 4) CAR がランク付けした上位 6 パターンはすべて実攻撃に対応する。特に EEE 攻撃の 4 パターンと DCP・DAV 各 1 パターンを上位に位置付け、時間モデル単独では 14 位以降だったパターンも CAR では上位に引き上げる(DCP 関連パターン: 時間モデルで 7 位→CAR で 4 位、DAV 関連パターン: 14 位→5 位)。コンテンツ相関を追加することで攻撃関連パターンのランクが顕著に向上した。 ### パラメータ感度分析(表 3、図 4) - **Lmax**: 4→5→6→7 と増やすと PRC-AUC が 0.401→0.829→0.843→0.840 と大幅改善。ROC-AUC はほぼ安定(0.995〜0.999)。4 ステップ以上の攻撃パターンを Lmax が捕捉できないと検知精度が低下する。 - **K**: 1→10→50→100 で ROC/PRC ともに安定(0.996〜0.999 / 0.760〜0.821)。K は上位アラートのスパース性を制御するが、ランキング順序自体には影響しない。 ### 合成データロバスト性(図 5) CAR の優位性は真陽性比率 10%〜50% の全条件で一貫している。コンテンツ類似度ベース手法(Embedding・SimRank)は真陽性比率が増えると性能が向上するが、CAR ほどの高精度には達しない。NGRAM は真陽性比率に影響を受けにくい一方で絶対性能が低い。 ## 考察 - CAR が優れる根拠: 時間的パターン単独(NGRAM・iBOAT)は「異常に現れないパターン」の学習に使う訓練データを要するか、または時間的情報のみでコンテンツ依存性を無視する。コンテンツ類似度単独(Embedding・SimRank)は時間的共依存を無視する。CAR はこの両方を協調最適化で結合することで、単独手法の盲点を補完する。 - Lmax=4 での低 PRC: ほとんどの攻撃は 4 ステップ以上を要するため、Lmax を小さくするとパターン候補が不足し偽陽性フィルタリングが効かなくなる。設定時には実際の攻撃ステップ数の上限の事前見積もりが必要。 - 将来方向: 論文は「生のイベントデータとアラートデータを統合した異常パターン生成」を将来課題として挙げる。 ## 強み - **教師なし**: ラベル付きデータ・事前知識・既知攻撃パターンが不要で、ゼロデイ攻撃にも対応可能 - **同時最適化**: アラート単位のスコアとパターン単位のスコアを一括して最適化し、両者の整合性を保証 - **解釈可能なパターン出力**: 単なる「このアラートが疑わしい」だけでなく「この攻撃シナリオとして関連している」というパターンも出力するため、対応の根拠が明確になる - **凸最適化**: NNLS で効率的に解ける形式に変換されており、計算的に確実に大域最適解に収束する - **ロバスト性**: 合成実験で真陽性比率 10%〜50% の条件で安定した優位を示す ## 弱点・課題 - **実験規模の小ささ**: 1 システム・1 ヶ月・3,322 件という実験規模は産業的な大規模評価に比べて限定的。複数の企業システムや異なるドメインでの汎化性能は不明 - **カテゴリカル属性専用**: 数値型アラートデータや混在型データへの適用は想定外。現代のクラウドメトリクスに基づくアラートには直接適用できない - **ハイパーパラメータの事前設定依存**: Lmin・Lmax・K の適切な設定には攻撃の典型的なステップ数についての事前知識が必要。設定を誤ると検知性能が大幅に低下する(Lmax=4 で PRC-AUC が 0.401 まで低下) - **オフライン処理**: 前置木の構築・ギブスサンプリング・最適化問題の解法はすべてバッチ処理を前提としており、ストリーミング・リアルタイム検知への適用は未検討 - **コンテキストの限定**: 評価は企業セキュリティ(サイバーアタック)ドメインのみ。クラウドサービスの運用アラートや SRE コンテキストの適用可能性は未検証 ## 関連 - 本 source ページ: [[@2018__CIKM__Collaborative Alert Ranking for Anomaly Detection]] - 著者エンティティ: [[Ying Lin]] / [[Zhengzhang Chen]] / [[Cheng Cao]] / [[Lu-An Tang]] / [[Kai Zhang (Temple University)]] / [[Wei Cheng]] / [[Zhichun Li]] - 組織エンティティ: [[NEC Laboratories America]] / [[University of Houston]] / [[Temple University]] / [[Amazon]] - 関連概念: [[アラート管理]] / [[異常検知]] / [[アクショナブルアラート]] - 関連 MOC: [[structures/Alert Management.MOC]] (一方向参照) ## 出典 - Lin+ CIKM2018 本文全体(PDF: `.raw/papers/CIKM18-AlertR.pdf`) - Abstract(pp.1987): 問題設定・CAR の概要・実験の要旨 - §2(pp.1988): 問題形式定義(アラート定義・アラートパターン定義・問題文) - §3.2(pp.1988–1989): 時間的依存性モデリング(式 1–2、図 2、Pitman-Yor 階層ベイズ) - §3.3(pp.1990): コンテンツ依存性モデリング(式 3–4、エンティティ埋め込み・ネガティブサンプリング) - §3.4(pp.1991): 協調アラートランキング(式 5–6、凸性証明、NNLS) - §4(pp.1991–1994): 実験(表 1–4、図 3–5、6 攻撃シナリオの詳細説明) - §5(pp.1994–1995): 関連研究 - §6(pp.1995): 結論(55〜85% の AUC 改善)