# リクエストモデリング ## 定義 リクエストモデリング(request modelling)とは、分散システムに流入するリクエストの挙動パターンを、イベントトレースから自動的に学習して確率的モデルとして表現する取り組みである。単なる集約統計(スループット・平均レイテンシ等)では捉えられない「リクエストが実際にシステム内をどのように通過したか」という実行軌跡を抽出し、正常挙動のモデルと照合することで、異常なリクエストや誤動作コンポーネントを特定することを目的とする。 [[Magpie]]([[@2003__HotOS__Magpie - Online Modelling and Performance-aware Systems]])が 2003 年に「パフォーマンスモデリングをユビキタスな OS サービスとして提供すべき」という主張とともにこの概念を体系的に提唱した。 ## 主要なアプローチ ### 1. 行動クラスタリング(Behavioural Clustering) リクエストのイベント列を直列化したイベント文字列として表現し、文字列間の類似度でクラスタリングする。Magpie は Levenshtein 文字列編集距離とリソース消費ベクトルのユークリッド距離を組み合わせたメトリクスを採用した。 URL ベースの分類に比べ、同一 URL でもセッション状態やエラー条件によって異なる実行パスを辿るケースを適切に区別できる利点がある。 ### 2. 確率的文脈自由文法(SCFG)によるプロセスモデリング リクエスト生成の基盤プロセスを確率的状態機械として表現する。ALERGIA アルゴリズムを用いてイベント文字列の集合から SCFG を自動導出し、アプリケーションコードの上位レベルの制御フロー・階層構造・ループパターンを推論できる。SCFG は「ベイジアンウォッチドッグ」——各リクエストのリアルタイム異常スコアリング——にも応用可能である。 ## 横断的知見 - **URL ベース分類は実行パスを近似しない**: Magpie の実証実験([[@2003__HotOS__Magpie - Online Modelling and Performance-aware Systems]])において、行動クラスタリングは URL ベース分類より全リソース種別(CPU・ディスク・ネットワーク)にわたって代表リクエストと実際のトランザクション間の RMS 誤差が小さい。これは「同一 URL でも実行パスは大きく異なる」という分散システムの現実を示す。ただしこの知見は 2003 年の単一プロトタイプに基づくものであり、後続研究での再現・拡張を要する。(Source: [[@2003__HotOS__Magpie - Online Modelling and Performance-aware Systems]]) - **「確率的モデル + 外れ値検知」の組み合わせが個別リクエストの異常特定を可能にする**: 集約統計(スループット・可用性)が正常を示しつつ一部ユーザーに影響する障害は、個別リクエストのモデルとの偏差として初めて検出できる。Magpie の SCFG ベースモデルはリクエスト単位の異常スコアを計算できるが、2003 年時点ではオフラインモデリングのみであった。(Source: [[@2003__HotOS__Magpie - Online Modelling and Performance-aware Systems]]) - **分散トレーシング([[分散トレーシング]])との関係**: 分散トレーシングが「リクエストがどのコンポーネントを通過したかの記録」であるのに対し、リクエストモデリングは「正常リクエストの統計的期待値と実際の偏差の定量化」を担う。前者はデータ収集・加工層、後者は分析・モデリング層として相補的。Magpie はこの両層を一つのシステムで統合しようとした最初期の試みである。 ## 未解決の問い - Magpie の行動クラスタリング(Levenshtein + ユークリッド距離)は現代のマイクロサービス環境(数十〜数百サービスにまたがるリクエスト、gRPC/REST 混在)に対してスケールするか。 - SCFG ベースのモデルが実用的な「ベイジアンウォッチドッグ」として機能するためには、イベント列の長さ・頻度・並行性のどの条件を満たせばよいか。 - Magpie が課題とした「並行リクエスト処理のモデル化」は、後続の分散トレーシング研究(Hindsight・TraStrainer・DeepFlow 等)でどこまで解決されたか。 - 2003 年のオフラインモデリングから「オンライン・ストリーミング」への移行は、現代のストリーミング処理基盤(Kafka・Flink 等)でどのように実現されるか。 ## 関連 - 概念: [[分散トレーシング]] / [[異常検知]] / [[サービス依存性発見]] / [[因果推論ベースRCA]] - エンティティ: [[Magpie]] / [[Paul Barham]] / [[Rebecca Isaacs]] / [[Richard Mortier]] - ソース: [[@2003__HotOS__Magpie - Online Modelling and Performance-aware Systems]] - 関連 MOC: [[SRE - MOC]] / [[異常検知 - MOC]] / [[AI Infra Telemetry - MOC]] ## 出典 - [[@2003__HotOS__Magpie - Online Modelling and Performance-aware Systems]] — Magpie: Online Modelling and Performance-aware Systems, HotOS IX 2003