# ワークロード選択の判断軸 ## 定義 ワークロード選択の判断軸(workload selection criteria)は、性能評価プロジェクトにおいて既に存在するワークロードの種類(型)ではなく、そのワークロードが「この評価に適しているか」を判定するための観点である。判断の出発点は、評価対象システムをサービス提供者とみなし、System Under Test(SUT、被試験システム。組織が購入・設計しようとしているコンポーネント一式全体)とComponent Under Study(CUS、被検討コンポーネント。SUTの中で代替案が検討されている特定の1コンポーネント)を明確に区別することにある。ワークロードとメトリクスは常にCUSではなくSUTのサービスインタフェースレベルに基づいて選ぶべきであり、この混同はよくある誤り(common mistake)として明示的に警告される。この区別を起点に、ワークロード選択には4つの主要な判断軸——行使されるサービス(services exercised)・詳細度(level of detail)・代表性(representativeness)・適時性(timeliness)——があり、負荷レベル・外部コンポーネントの影響・再現性という副次的な考慮事項が加わる。(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 5 The Art of Workload Selection]] §5.1) ## 4つの判断軸 - **行使されるサービス(services exercised)**: システムが提供する複数サービスをできるだけ完全に行使すること。研究目的(効率的な機能を引き出すか非効率な機能を引き出すか)も考慮する。SUTには階層(ALU→CPU→OS→アプリケーション、あるいはISO/OSIの7層)があり、比較対象の階層に応じてワークロードの粒度が変わる(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 5 The Art of Workload Selection]] §5.1)。 - **詳細度(level of detail)**: 「最頻出リクエスト」「リクエスト種別の頻度」「時間スタンプ付きリクエスト系列(トレース)」「平均資源要求量」「資源要求量の分布」の5段階のスペクトルから、解析モデル・シミュレーション・実測のどの手法を使うかに応じて選ぶ(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 5 The Art of Workload Selection]] §5.2)。 - **代表性(representativeness)**: 到着率・資源要求・資源使用パターンの3点で実アプリケーションと一致(または比例)していること。特に資源使用パターンの不一致は、個々のワークロードが代表的でも複数同時実行時の結果を非代表的にしうる(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 5 The Art of Workload Selection]] §5.3)。 - **適時性(timeliness)**: 利用パターンの変化に遅れず追従すること。ユーザー挙動はシステム性能自体に応じて変化する移動目標(moving and fuzzy target)であるため達成が本質的に難しく、継続的なモニタリングと最近の測定に基づく更新が必要になる(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 5 The Art of Workload Selection]] §5.4)。 ## 横断的知見 - **第4章が示すワークロードの「型」の発展系譜(加算命令→命令ミックス→カーネル→合成プログラム→アプリケーションベンチマーク)は、第5章の4判断軸のうち特に代表性(representativeness)の欠如が動因になっている。** [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 4 Types of Workloads]]は各段階が前段階の限界(単一命令の非代表性、命令ミックスの静的性、カーネルのI/O欠如)を克服する形で登場したと説明するが、[[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 5 The Art of Workload Selection]] §5.3の代表性の定義(到着率・資源要求・資源使用パターンの一致)に照らすと、カーネルが「I/Oを欠く」ことは資源要求の代表性の欠如、命令ミックスが「静的」であることは資源使用パターンの代表性の欠如として再解釈できる。つまり第4章の歴史的発展は、第5章が体系化した代表性という判断軸を、個別のワークロード型のレベルで暗黙に辿り直したものといえる。(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 4 Types of Workloads]] §4.2〜§4.3, [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 5 The Art of Workload Selection]] §5.3) ## 未解決の問い - 第5章は代表性の3次元(到着率・資源要求・資源使用パターン)を定性的に述べるにとどまり、どの程度の乖離までなら「同じか比例している」とみなせるかの定量的な基準は示していない。この基準は本書の後続章(実験計画・統計的手法)で与えられるか。 - 適時性(timeliness)は「継続的なモニタリングに基づく更新」が対策として挙げられるが、更新の頻度やトリガー条件についての具体的な指針は本章に無い。SUT/CUSの区別やサービス階層の特定と組み合わせて、モニタリング対象をどう絞り込むべきか。 - SUT/CUSの区別は本書全体で使われる基本語だが、複数コンポーネントを同時に比較したい場合(CUSが単一でない場合)にこの二分法はどう拡張されるか。 ## 関連 - [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 5 The Art of Workload Selection]] — 本概念の原典解説(§5.1〜§5.5)。SUT/CUSの区別と4判断軸を定義する。 - [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 4 Types of Workloads]] — ワークロードの「型」の歴史的発展を扱う前章。本概念の4判断軸のうち代表性が発展の動因になっていたと再解釈できる。 - [[The Art of Computer Systems Performance Analysis]] — 上記の書籍entity。 - [[ベンチマーキング]] — ワークロード選択の判断軸は、ベンチマークとして使うワークロードを選ぶ際の前提となる観点を提供する。 - [[ワークロードの特性の把握]] — 既存ワークロードを観察して特性を明らかにするメソドロジ。本概念(選択の判断軸)は「これから使うワークロードをどう選ぶか」という事前の判断に主眼を置く点で異なる。 ## 出典 - [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 5 The Art of Workload Selection]] §5.1〜§5.5 - [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 4 Types of Workloads]] §4.2〜§4.3(代表性の欠如としての再解釈)