> [!abstract] 概要(アブストラクトの日本語訳) > コンピュータの異常検知の問題に動機づけられ、軽〜中負荷のホストを対象に、トランザクション時系列の比較分析を行う。ホストの統計的な状態を測定するための基準を検討する。測定データにスケーリング変換を適用すると、平均まわりの揺らぎの分布は、周期的な変動で変調された定常状態の最大エントロピー分布によって近く近似されることが分かる。この条件下での分布の形は、日次/週次の周期性とデータの相関長の無次元比に依存する。これらの値は持続的、あるいは不変でさえある。我々はこれらの結論の限界を調査し、それらが異常検知にどのように応用できるかを検討する。 ## 論文情報 - タイトル: Measuring System Normality - 著者: [[Mark Burgess]]・[[Harek Haugerud]]・[[Sigmund Straumsnes]]([[Oslo University College]])、[[Trond Reitan]]([[Norwegian Water Resources and Energy Directorate]]) - 媒体: ACM Transactions on Computer Systems (TOCS), Vol. 20, No. 2, May 2002, pp. 125–160 - 受理: Received February 2001; revised January 2002; accepted February 2002 - DOI・arXiv ID: 本文中に記載なし(ACM の Web 検索は bot 対策で本セッションから確認不能につき `url` は空欄のまま) - 注記: 著者らによれば本稿は 1999 年に書かれた 2 本の長い研究(うち 1 本は "Measuring Host Normality II" として Software Practice & Experience に投稿されたが、本文中に本稿と統合の経緯は明記されるものの掲載情報は確認できない)を短縮・更新したアーカイブ版である。 ## 概要 軽〜中負荷のホスト(オスロ大学カレッジおよびカンザス州立大学のサーバー・ワークステーション群、Solaris 環境)から収集したトランザクション計数変数の時系列を分析し、「システムの正常状態」を統計的に定義する枠組みを提示する論文。到着時刻や生存時間ではなく、ソケット数・プロセス数・ユーザー数などの**イベントカウント**変数を対象に選び、日次/週次周期を除去する尺度変換(conformal scaling transformation)を適用することで、揺らぎの分布が最大エントロピー分布(Planck 分布)に収束することを実証する。さらに、この統計的アプローチが実運用の異常検知にどこまで使えるか、その限界を定量的に論じる。 ## 問題設定 - **入力**: 軽〜中負荷ホストから 30 秒間隔(のちに cfengine 経由でリアルタイム収集)で取得したイベントカウント変数——サービスソケット数(TCP in/out)、ディスク使用量、ページング率、特権/非特権プロセス数、最大 CPU 使用率、ログインユーザー数など。 - **前提**: ホストは「相対的な動的平衡」にあると仮定するが、完全な平衡系ではなく、緩やかに変調するノンイクイリブリアム系として扱う。 - **目的**: (1) 「正常」を統計的に定義する基準を確立する、(2) その基準がどこまで異常検知(特に侵入検知)に応用できるかを明らかにする。 - **なぜイベント到着時刻・生存時間を避けるか**: 先行研究(Paxson and Floyd 1995 等、本文中で引用)が示す通り、到着時刻・生存時間は自己相似(フラクタル)的で発散しがちな重い裾を持つ分布(heavy-tailed)になり、有限区間でのデータ収集・解析が難しい。イベントカウントは同種の情報をより扱いやすい形で与える。 ## 提案手法 - **データ表現**: 全ての測定値は離散時間の整数値。日次・週次の周期をピリオドグラム(円柱状の周期時間軸)上に畳み込み、各時刻での平均と標準偏差を誤差棒として算出する(Fig. 1: 非特権プロセス数の週次平均、Fig. 3: SSH 接続の日次リズム)。 - **サンプリング間隔の決定**: 自己相関解析(エントロピー計算を用いる自己相関半減期)により、多くの変数で 5〜20 分の解像度が妥当と判明し、Nyquist の標本化定理に基づき最終的に 5 分間隔へリサンプリングした(Fig. 2: ユーザー数・CPU 最大値・WWW 接続・NFS 接続の自己相関比較。ネットワーク系トランザクションの相関長は約 5 分、ログイン系は約 1 時間)。 - **エントロピーによる変動性の定量化**: レンジを ν 個のセルに粗視化し、各セルの占有確率 p_i から Shannon エントロピー S(T) = −Σ p_i log p_i を計算する(式 6)。エントロピーが最大値 log ν に近いほど信号はほぼ完全にランダム(最大エントロピー)であり、観測変数はこの上限に近いことが確認された。 - **トランザクションモデル(10 段階の手続き)**: 1. データのエントロピーを計算し、最大エントロピーに近いことを確認する。 2. 日次・週次の正確な周期でピリオドグラム表現し、各時刻の平均・標準偏差を求める。 3. ピリオドグラム標準偏差 σ(t) 自体が疑似周期関数であり、系が定常状態でないことを示す。 4. 各時刻の測定値を局所標準偏差 σ(t) でスケーリングし、変換後の分布を「最も近い定常系」へ写像する(conformal scaling transformation)。変換後の分布は Planck 分布に近づく。 5. 非平衡確率は直接計算が難しいため、変換済みデータ(平衡系相当)から出発する。 6. 最大エントロピー原理のもとで、トランザクションの生起確率をボルツマン分布 exp(−βE_i) として仮定する(式 9)。 7. 連続極限では p[q] = exp(−βE[q]) / ∫ dq exp(−βE[q])(式 1)。 8. E[q] のアンザッツとして、抵抗コスト V(q)=0(軽〜中負荷では有意な抵抗がない)の単純形を採用する(式 2)。 9. 周期境界条件(円環トポロジー)のもとでこの系の揺らぎスペクトルを計算すると、正規化定数を除いて Planck 分布が導かれる。 10. この Planck 分布が、変換済み定常系の揺らぎ分布の理論形になる。実系はこれに周期的変調が加わったものである。 - **Planck 分布のフィット式**(式 14): D(λ) = A / [(λ−λ0)^n (e^{1/((λ−λ0)T)} − 1)]。定数 A、温度 T、原点シフト λ0、次元数 n をデータにフィットして決定する。 - **累積エントロピーとスライディングウィンドウ**: データ収集開始から蓄積するエントロピー(cumulative entropy)と、固定幅の移動窓によるエントロピーの 2 通りの手法を比較。前者は感度が時間とともに低下し、単発のインパルス的変化は急速に埋もれる(Fig. 7: 単発デルタ関数イベントの累積エントロピーの減衰)。 ## 新規性 - **先行研究との違い**: 侵入検知の免疫学的アプローチ(Hofmeyr et al. 1998)やシステムコール列の解析は、微視的〜中間スケールでの「パターン変化」を検出するのに対し、本論文はマクロスケールでの「値が許容分布の外にあるか」を扱う。両者は異なるスケールを対象とし、補完的である。 - **日次・週次周期の明示的な除去**: 多くの先行研究(paging behaviour, self-similar network traffic 等)は日次・週次の社会的リズムに起因する変動を十分に差し引かずに解析していたと指摘し、本論文はこれを系統的に除去する尺度変換を提案した。 - **統計力学的アナロジーの導入**: エントロピー・自由エネルギー・ボルツマン分布・Planck 分布といった統計力学の道具立てを、ホストの正常状態のモデル化に応用し、コンピュータシステムを「多数の相互作用するサブシステムからなる複雑系」として微視的・中間的・巨視的スケールに分けて扱う枠組みを提示した。 - **温度の不変性という予想外の発見**: 地理的に大きく離れた 3 台の WWW サーバーの温度パラメータ T が「驚くほど似ている」(Fig. 12)ことを見出し、これが偶然でなく P/Λ(周期と相関長の無次元比)に支配される不変量である可能性を、次元解析と実測(ログイン系 vs ネットワーク系トランザクションの温度が約 2 倍異なる点、Fig. 15・Fig. 16)から論じた。 **Figure 2: 4 変数の自己相関(Number of users / CPU max / IN-WWW / IN-NFS)** ![[_attachments/2026_Unknown_Measuring_system_normality/fig02-autocorrelation.png]] (Fig. 2. ユーザー数・最大 CPU 使用率・受信 WWW 接続・受信 TCP-NFS 接続の自己相関プロット。最初の 3 変数は明確な周期性(週次ピーク)を示すが、NFS データには明確な周期性がなく、ホストの FIN_WAIT タイムアウト値に支配されたノイズの多い減衰トレースが見える。Source: Fig. 2 を再現。) ## 実験設定 - **データ収集環境**: オスロ大学カレッジのネットワーク(サーバー・ワークステーション混在)、およびカンザス州立大学から提供された対応データ。いずれも Solaris 上で稼働し、`/bin/ps -ef`・`/bin/netstat -n` 等を用いる軽量デーモンで 30〜40 秒間隔でサンプリングした。初期サンプルは約 20 万点、その後 cfengine に組み込んだ継続収集で複数年分のデータを確認に用いた。 - **比較対象**: 明示的なベースライン手法との定量比較は行わず、理論モデル(Planck 分布フィット)と実測分布の当てはまりの良さ、および複数サイト・複数変数間でのパラメータ(温度 T・次元数 n・相関長 Λ)の一致度を評価軸とする。 - **評価指標**: スケール済みエントロピー(log ν で正規化、0〜1)、Planck フィットのパラメータ(T, n, λ0)、自己相関の半減期(相関長)。 ## 実験結果 - **Planck 分布への収束**: WWW ソケット数の揺らぎ分布は、正の歪度を持ちほぼ純粋な Planck 分布として滑らかにフィットできた(Fig. 5)。粗視化 100 セル程度で、スケール済みエントロピーは 70% 超に達する。 - **反例**: あるホストの空きメモリ量は、NFS キャッシュの積極的なポリシーにより「正常」と「過負荷」の 2 値しか取らず、フラクタル/Planck モデルが破綻する明確な反例として提示された(Fig. 6)。 - **ウィンドウサイズ依存性**: スライディングウィンドウの幅を変えてエントロピーを計算すると、1・2・3 週間の窓幅では明確なシグナルが得られず(Fig. 10 のキャプション自身が「この図から言えるのは明確なシグナルが無いということだけ」と述べる)、少なくとも 1〜2 週間、安定した分布を得るには最大で 2 か月程度のデータが必要と分かった。 - **3 サイト間の温度の類似性**: 地理的に大きく離れた 3 台の WWW サーバーに Planck 分布をフィットすると、温度パラメータ(T=0.0302, 0.0227, 0.0184)と次元数(n=10.7, 12.8, 14.7)がいずれも近い範囲に収まった(Fig. 12)。同じ 3 サイトの非変換(生)分布を比較しても基本形状はほぼ同一で、違いは主に非定常な偏差(σ(t) の挙動)に現れる(Fig. 13)。 - **トランザクション種別間の温度比**: ログイン型トランザクション(非特権プロセス数)と、ネットワーク型トランザクション(WWW ソケット数)の Planck 温度を比較すると、ログイン型がネットワーク型のおよそ 2 倍であった(IN-WWW T=0.0571 vs OTHER PROCS T=0.107、Fig. 15)。対応する自己相関長(相関長)はおよそ 0.5 倍の比で、周期 P/相関長 Λ の無次元比という仮説と整合的だった(Fig. 16)。 - **疑似攻撃実験**: 受信 WWW 接続数へ 15 分間、接続数を通常約 15 ソケットから設定上限の 100 ソケットへ急増させる疑似攻撃(過負荷)を挿入したところ、3 週間窓でのエントロピー変化はグラフが分岐するのみでほぼ無視できるほど小さく、この方法で 15 分規模の侵入を検知するのは不可能と結論づけた(Fig. 14)。 **Figure 5: WWW ソケット数の揺らぎ分布と Planck フィット** ![[_attachments/2026_Unknown_Measuring_system_normality/fig05-www-distribution-planck-fit.png]] (Fig. 5. 数か月にわたる WWW ソケット数の揺らぎ分布の実測(実線)と手動フィット(破線)。分布はほぼ純粋な Planck 分布であり、ガウス的なノイズをほとんど含まない。x 軸はスケール済み平均からの偏差、y 軸は 0.5σ 幅のクラスごとの度数。Source: Fig. 5 を再現。) **Figure 10: ウィンドウ幅がエントロピーに与える影響** ![[_attachments/2026_Unknown_Measuring_system_normality/fig10-window-size-entropy.png]] (Fig. 10. 1・2・3 週間の窓幅(短破線・長破線・実線)でスライディングウィンドウ計算したエントロピー。灰色の背景は生データ。この図から読み取れる唯一の事実は、議論に資する明確なシグナルが無いということである、と著者ら自身が述べる。Source: Fig. 10 を再現。) **Figure 12: 3 サイトの WWW トラフィックへの Planck フィット比較** ![[_attachments/2026_Unknown_Measuring_system_normality/fig12-three-sites-planck-fits.png]] (Fig. 12. 地理的に大きく離れた 3 台の WWW サーバーの受信トラフィックに対するスケール変換後の分布と Planck フィット。温度・形状が驚くほど類似している。Source: Fig. 12 を再現。) **Figure 14: 15 分間の疑似攻撃によるエントロピー変化** ![[_attachments/2026_Unknown_Measuring_system_normality/fig14-simulated-attack-entropy.png]] (Fig. 14. 3 週間窓を用いた WWW サーバーへの 15 分間の持続的疑似攻撃によるエントロピー変化。攻撃時刻でグラフがわずかに分岐するのみで、持続時間が短すぎてこのスケールでは明確に見えない。Source: Fig. 14 を再現。) **Figure 15: ログイン型 vs ネットワーク型トランザクションの温度比較** ![[_attachments/2026_Unknown_Measuring_system_normality/fig15-temperature-login-vs-network.png]] (Fig. 15. 非特権プロセス数(ログイン型トランザクション)と受信 WWW ソケット数(ネットワーク型トランザクション)の Planck フィット比較。温度が約 2 倍異なり、下段のフィット精度がやや低いにもかかわらずこの関係は成立する。Source: Fig. 15 を再現。) ## 考察 - **正常状態の実務的定義**: 論文は「正常」を平均的な統計的振る舞い(average behavior for a statistical system)と定義し、不変量・持続的シグネチャ・ランダムな揺らぎ・過渡的変化を区別することが本質だと位置づける。 - **異常検知への含意**: 統計的に有意な状態判定には少なくとも 1〜2 週間、安定したフィットには最大 2 か月ほどのデータが必要であり、これは秒〜分オーダーの侵入・攻撃検知には原理的に不向きである。したがって長期的な状態監視・容量計画には有用だが、侵入検知には**残差**である時間依存標準偏差 σ(t) とその勾配、あるいは他の(パターンベースの)手法を組み合わせる必要があると論じる。 - **不変量としての温度の可能性**: 温度 T が不変・普遍的である可能性を示唆する一方、著者ら自身、十分なデータ密度を持つサイトが 3 台のみという限られたサンプルであることに慎重な留保をつけている。 - **高負荷域での破綻**: 本研究の 2 つの仮定(最大エントロピー・抵抗コストなし V=0)は軽〜中負荷でのみ検証されており、その後の数値シミュレーション(Haugerud and Straumsnes 2001、本文中で言及)によれば、システム上限(ceiling)に近づくと分布は左右対称的な形を経て、Fig. 5 の鏡像にあたる非対称形へ遷移する可能性が示唆され、これを「二次相転移」になぞらえている。 - **変数間相関の欠如**: ユーザー数・最大 CPU 使用率・最大メモリ使用率の間には有意な相関が見られず、単純なクロス相関からは有用な情報が得られにくいと報告している。 ## 強み / 弱点・課題 - **強み**: (1) 日次・週次周期の除去という、先行研究が見落としがちな交絡要因を明示的に扱うスケーリング変換を提案した。(2) 単一サイトの一回限りの観測でなく、地理的に離れた複数サイト・複数変数間でパラメータの一致(不変性の可能性)を実証的に示した。(3) 「なぜ既存の閾値ベース異常検知が機能しにくいか」を、生の時系列が直線的でないという実測に基づき定量的に論じた。 - **弱点・限界**(論文が自ら述べるもの): (1) Web サーバー3台という小サンプルでの温度不変性の主張は慎重な留保付き。(2) 空きメモリの反例(Fig. 6)が示す通り、モデルは全ての変数に一様に当てはまるわけではない。(3) 高負荷域でのモデルの妥当性は検証されていない(軽〜中負荷のみ)。(4) 15 分規模の突発的異常はこの統計的手法では原理的に検知不能であり、この限界は解決策としてではなく開いた課題として提示されている。(5) 単一 OS(Solaris)・単一運用形態(学術ネットワーク)のデータに限定されており、他環境での再現性は「今後の課題」とされている。