# 適応的ワークロード生成 ## 定義 適応的ワークロード生成(Adaptive Workload Generation)とは、性能テスト実行中に System Under Test(SUT)の KPI(スループット・応答時間・エラー率等)をリアルタイムで観測し、その挙動に応じて次に投入する負荷(同時実行数・調整量・タイミング)を動的に決定する手法である。固定の同時実行時間・固定閾値・人手設計のヒューリスティクスに依存する従来のワークロード生成技術に対するアンチテーゼとして位置づけられる。(Source: [[@2026__ICSE-SEIP__PerfScout - An Adaptive Workload Generator in Software Performance Testing]]) ## 手法の 3 分類 [[PerfScout]] 論文([[@2026__ICSE-SEIP__PerfScout - An Adaptive Workload Generator in Software Performance Testing]], ICSE-SEIP '26)は、性能テストのワークロード生成手法(WGM: Workload Generation Method)を以下の 3 分類に整理する: - **WWGM(白箱手法、White-box)**: ソースコードのデータフロー解析・記号実行を要し、ブラックボックス自動テストに不向き。 - **SBWGM(静的黒箱手法、Static Black-box)**: JMeter・USENIX-ATC'08・BaaSP・Markov4JMeter・WESSBAS 等。固定のワークロードレベル・閾値を人手で設計・指定する必要があり、多様な SUT への汎化性・自動化度が低い。 - **DBWGM(動的黒箱手法、Dynamic Black-box)**: DYNAMO・ICPEC'17・RELOAD・PerfXRL・SaFReL 等。実行時の KPI 監視で負荷を調整するが、固定閾値・手動設計されたパフォーマンス指標に依存し続ける。既存 RL ベース手法(RELOAD・PerfXRL・SaFReL 等)は Q-learning 等の変種でワークロード生成を逐次意思決定問題として定式化するが、性能指標のしきい値は依然として手動設定である。 (Source: [[@2026__ICSE-SEIP__PerfScout - An Adaptive Workload Generator in Software Performance Testing]]) ## PerfScout の設計: 動的閾値 + 局所定常性 + 強化学習 PerfScout は、ブラックボックス設定(ソースコードアクセス不要)を保ちながら、DBWGM の限界であった「固定閾値・手動設計指標への依存」を以下の 3 モジュールで解消する: 1. **SPOT(極値理論ベースの動的閾値)**: [[Alban Siffer]] が設計したアルゴリズムを応答時間の一階差分に適用し、ピーク閾値超過分に一般化パレート分布(GPD)をフィッティングして異常閾値を逐次更新する。システム間の KPI 挙動の違いに固定閾値が追従できないという課題に対応する。 2. **ADF/KPSS(局所定常性判定)**: TPS の直近ウィンドウに 2 種類の統計検定を同時適用し、両者が非定常を示す間は同一負荷でテストを継続する。一時的なシステムジッタによる誤判定を防ぐ([[定常性モデル]]の性能テスト応用)。 3. **PPO(強化学習ポリシー最適化)**: SPOT 由来の動的閾値を報酬関数に組み込み、SUT ごとに大きく異なる応答時間スケールを標準化した上でワークロード調整を学習する。多様な性能フィードバックへのモデル汎化性の低さという課題に対応する。 3 モジュールを組み合わせることで、システム固有のマニュアルチューニングなしに多様な SUT へ汎化する初の枠組みと著者らは位置づける。(Source: [[@2026__ICSE-SEIP__PerfScout - An Adaptive Workload Generator in Software Performance Testing]]) ## 実証結果 Huawei Cloud のクラウドベース性能テストプラットフォーム CodeArts PerfTest に 9 か月間本番デプロイされ、実運用データセット D1・D2 でブレークポイント特定精度 82% 超・テスト効率改善 90% 近くを達成。固定戦略・RD・LD・DYNAMO・RELOAD の全ベースラインを調和平均(HM)で上回り、代表ケースでは固定戦略比 87% のテスト時間短縮を実証した。(Source: [[@2026__ICSE-SEIP__PerfScout - An Adaptive Workload Generator in Software Performance Testing]]) ## 横断的知見 - **適応的ワークロード生成における「動的閾値」の設計は、SRE の定常性モデルが提起した「固定閾値の限界」批判と同じ問題意識を共有する**: [[定常性モデル]]が SLI 監視文脈で「Goldilocks Reliability(2 バケット閾値アプローチ)」を批判したのと同様に、PerfScout は性能テスト文脈で「固定閾値・ルールベースヒューリスティクス」の汎化性の低さを課題として明示的に設定する。両者とも「あらかじめ決めた閾値」から「観測データから動的に導出する基準」への移行を志向する点で構造的に類似する(2 ソース以上での比較検証が必要)。(Source: [[@2026__ICSE-SEIP__PerfScout - An Adaptive Workload Generator in Software Performance Testing]], [[@2021__SREcon21__Beyond-Goldilocks-Reliability]]) ## 未解決の問い - PerfScout のデータは機密保持契約により非公開であり、コードのみ公開されている。外部での再現性検証は困難である。 - D1・D2 とも Huawei Cloud という単一企業のプラットフォームに由来し、他社・他ドメインの SUT への汎化性は「示唆される」にとどまり実証されていない(論文は "suggest broad applicability" と述べるのみ)。 - 報酬関数(式 1: (RT_t/RT_spot)^2 + (ERR_t/ERR_threshold)^2 − c・α)の重み・ペナルティ係数はハイパーパラメータ感度実験で頑健性が示されるが、根本的な報酬設計自体の妥当性検証(なぜこの式か)は限定的。 - WWGM(白箱手法)との精度比較は行われていない。ブラックボックス制約を外した場合にどの程度の追加精度が得られるかは未検証。 ## 関連 - ソース: [[@2026__ICSE-SEIP__PerfScout - An Adaptive Workload Generator in Software Performance Testing]] - 著者: [[Yongqian Sun]] / [[Shenglin Zhang]] / [[Dan Pei]] / [[Xidao Wen]] / [[Wenwei Gu]] - 関連プロダクト: [[PerfScout]] - 概念: [[定常性モデル]]