# ワークベンチ自動化 ## 定義 ワークベンチ自動化(Workbench Automation)は、共有ハードウェアプール(「ワークベンチ」)上でサーバベンチマーキングの実験集合を自動的に計画・構成・実行するアプローチである。ベンチマークハーネス自体(サーバ実装・構成ツール・ワークロードジェネレータ)を所与として扱い、その上位で「どの実験を、どの順序で、どれだけの試行数とランレングスで行うか」を決定する自動化ポリシーに焦点を当てる。中核となる定式化は二階層のループである: 外側ループが多因子空間(ワークロード・リソース・構成)のサンプルを選び([[Response Surface Methodology|レスポンスサーフェスマッピング]])、内側ループが各サンプルについて目標の信頼度・精度を満たすピークレート(飽和スループット)を最小コストで探索する。固定ランレングス・固定試行数で負荷を線形に増加させる素朴な手法(strawman)に対し、負荷率(ρ = 現在の負荷 / ピークレート)が1に近づくほどレスポンスタイムのばらつきが増大するという観測に基づき、負荷レベルごとに試行数・ランレングスを動的に調整することでベンチマーキングコストを大幅に削減できる。(Source: [[@2008__USENIX-ATC__Cutting Corners - Workbench Automation for Server Benchmarking]] §1〜§3) ## 横断的知見 （今後の ingest で他ソースとの横断知見が蓄積され次第、追記する。） ## 未解決の問い - Model-guided(モデル誘導)探索は負荷率1付近への到達が最速だが学習モデルの精度に依存し不安定になりうる一方、Binsearch(二分探索)は対数オーダーの収束保証を持つが最速では到達できない。両者を組み合わせる(例: モデル予測を二分探索の初期シードとして使う)ハイブリッド戦略は、どの程度の追加コストでどの程度の頑健性向上を得られるか。 - レスポンスサーフェスマッピングの外側ループサンプル選択において、Response Surface Methodology(RSM、情報量最大のサンプル点を選ぶ)と、内側ループのシーディングヒューリスティック(近傍サンプルのピークレートを開始点にする)は、原理的に相反する要求(RSM は既存知識が少ない点を選ぶが、シーディングは近傍知識があるほど有効)を持つ。両者を両立させる、あるいは動的に切り替える方式はどう設計できるか。 - シーディングにおける「近傍」の定義は、因子が量的な場合は距離で測れるが、ファイルシステム種別のようなカテゴリカル因子を含む多因子空間ではどう一般化できるか。 - 本論文の評価は NFS ファイルサーバと単一のワークロードジェネレータ(Fstress)に限定されている。試行数・ランレングスの適応ポリシーやシーディングヒューリスティックは、負荷率と分散の関係が定性的に異なるベンチマーク対象(例: LLM 推論サービング、分散データベース)にどこまで移植可能か。 ## 関連 - [[ベンチマーキング]] — より広い「ベンチマーキングをどう正しく行うか」というメソドロジ全般の親概念。ワークベンチ自動化はその中でも「実験集合の計画と実行を自動化する」という特定の下位問題を扱う。 - [[@2008__USENIX-ATC__Cutting Corners - Workbench Automation for Server Benchmarking]] — 本概念の原典(USENIX ATC 2008)。 ## 出典 - [[@2008__USENIX-ATC__Cutting Corners - Workbench Automation for Server Benchmarking]] §1〜§7