# トラフィック相関分析 ## 定義 トラフィック相関分析(traffic correlation analysis)とは、ネットワークトラフィックのパケットヘッダ・タイミング情報を統計的に処理し、異なるサービス間の依存関係や因果関係を推論する手法の総称である。アプリケーションの計装や内部構造の知識を不要とし、受動的に取得できるネットワーク観測データのみから依存グラフを構築することを目標とする。 Orion(Chen et al., OSDI 2008)は、依存するサービスペア A → B のメッセージ間遅延分布が「典型スパイク」を持つという観察に基づき、FFT + 低域フィルタ + スパイク検出を組み合わせてこれを自動化した。(Source: [[@2008__OSDI__Automating Network Application Dependency Discovery - Experiences, Limitations, and New Solutions]]) ## Orion の遅延スパイク検出アルゴリズム 1. **フロー生成**: TCP は 5 タプル + SYN/FIN/RST/KEEPALIVE でフロー境界を決定。UDP はタイムアウト閾値で決定。フロー集約により計算量をパケット直接処理比で約 10 倍削減。 2. **遅延分布ヒストグラム**: 3 秒タイムウィンドウ内でインターリーブするフローペアの遅延を 10ms ビン幅・300 ビンのヒストグラムに蓄積。 3. **ノイズ除去**: FFT でヒストグラムを周波数領域に変換し、カイザー窓(β = 100)低域フィルタを適用してランダムノイズを減衰。 4. **スパイク検出**: bin-height(各ビンの高さ)が正規分布に従うという観察を利用。`mean + 3 × stdev` を超えるビンを「典型スパイク」として検出。スパイクが存在すれば依存関係と判定。 ## 手法比較 | 手法 | 基本原理 | ウィンドウ | 問題点 | |------|---------|-----------|--------| | Sherlock | 条件付き確率 | W = 10ms または 100ms | 小 W → FN 増、適切値の選択困難 | | eXpose | JMeasure | W = 1s | 大 W → FP 激増 | | Orion | 遅延分布スパイク | W 非依存 | 残留 FP は能動テストで補完 | (Source: [[@2008__OSDI__Automating Network Application Dependency Discovery - Experiences, Limitations, and New Solutions]]) ## 横断的知見 - **遅延分布の正規性が手法の基礎**: bin-height が正規分布に従うという経験的観察(Figure 1 in 論文)は、閾値を `mean + k × stdev` で決定することを可能にし、アプリケーション固有のチューニングを不要にする。これは単一ソースの観察だが、他の時系列分布ベース手法(例: 異常検知における 3σ 規則)と共通の前提に立つ。(Source: [[@2008__OSDI__Automating Network Application Dependency Discovery - Experiences, Limitations, and New Solutions]]) - **フロー集約が精度と性能の両立に不可欠**: フロー生成なし(`noFlow`)では OC クライアントの FP が 77 → 3,594 に跳ね上がる。大規模フローが遅延分布にバイアスを与えるため、フローへの集約は精度上も必要であることが示された。(Source: [[@2008__OSDI__Automating Network Application Dependency Discovery - Experiences, Limitations, and New Solutions]]) ## 未解決の問い - 遅延スパイクが複数ある場合(複数の実行パスが存在する場合)のスパイク分離精度は? Orion は複数スパイクを許容するが、実験では詳細分析されていない。 - HTTP/2 やマルチプレクスプロトコルではフロー境界の判定がより複雑になるが、フロー生成アルゴリズムを拡張できるか? ## 関連 - 上位概念: [[サービス依存性発見]] / [[受動観測ベース依存性推論]] - 関連手法: [[分散トレーシング]](計装ベースの代替) - ソース: [[@2008__OSDI__Automating Network Application Dependency Discovery - Experiences, Limitations, and New Solutions]] ## 出典 - [[@2008__OSDI__Automating Network Application Dependency Discovery - Experiences, Limitations, and New Solutions]](Orion, OSDI 2008)