## 定義 コストを考慮したシステム評価とは、GPU・SmartNIC・FPGA・プログラマブルスイッチのようなアクセラレータを伴うヘテロジニアスハードウェアシステムを比較する際、性能指標だけでなくコスト指標も測定・報告し、両者を併せて公平な優劣判定を行う評価方法論である。[[Hugo Sadok]]・[[Aurojit Panda]]・[[Justine Sherry]] が HotNets '23 のポジションペーパーで提案した(Source: [[@2023__HotNets__Of Apples and Oranges - Fair Comparisons in Heterogenous Systems Evaluation]])。 従来のシステム評価は「同一ハードウェア上で2つのソフトウェアを動かし性能指標を比較する」ことを前提としてきたが、異なる種類のアクセラレータを使うシステム同士、あるいはアクセラレータを使うシステムと使わないシステムを比較する場合、この前提が崩れる。性能のみに着目した比較(例:「SmartNICへのオフロードで2倍高速化した」)は、ハードウェア資源量の変化を無視しており、公平性を欠く。 ## 中核概念 - **コスト指標の3条件**: 良いコスト指標は (1) 文脈独立(context-independent、デプロイ場所・主体・時期に依存せず同じ値を返す)、(2) 定量化可能(quantifiable、測定・直接比較可能)、(3) end-to-end網羅(比較対象の全システムのコストを漏れなくカバーする)を満たすべきである。TCO(総所有コスト)は業界で最も重視されるが文脈依存であるため、研究評価には不向きとされる。推奨される実践的指標は消費電力(Watts)。 - **Operating regime と一次元比較**: 2システムが同じコストまたは同じ性能で動作する場合、比較は変化する1次元だけを見ればよく単純になる。 - **比較領域(comparison region)と Pareto支配**: 同一regimeにない場合は性能・コストの2次元で Pareto支配関係を考える。あるデザインの比較領域内にベースラインがあれば客観的な優劣判定が可能、領域外では「根本的に比較不能」とみなす。 - **理想的スケーリング(ideal scalability)**: スケーラブルなベースラインは、実測または線形スケーリングの寛容な仮定によって、提案システムの比較領域まで持ち上げてから比較すべきである。ただし理想的スケーリングの仮定はベースラインにのみ許され、提案システムには適用できない。 ## 横断的知見 本 concept は本ソース1件のみから作成されており、複数ソースを突き合わせた横断的知見はまだない。本ソースの参考文献には SmartNIC・FPGA・プログラマブルスイッチを使う多数のアクセラレータ系論文(例: 「Achieving 100Gbps Intrusion Prevention on a Single Server」OSDI '20、未 ingest)が列挙されており、これらが今後 wiki に取り込まれれば、それぞれの評価章が本 concept の3原則(文脈独立性・定量化可能性・end-to-end網羅性)をどの程度満たしているか横断的に検証できる観測点になる。 ## 未解決の問い - この vault に既に取り込まれているアクセラレータ系論文(SmartNIC・GPU・プログラマブルスイッチを使うシステム)の評価章は、本 concept の3原則(文脈独立性・定量化可能性・end-to-end網羅性)をどの程度満たしているか。満たしていない場合、どの原則が最も頻繁に破られるか。 - 消費電力(Watts)以外に、この3原則を満たしながら実務で計測が容易なコスト指標は他に存在するか(例: クラウド課金額を文脈独立な形に正規化する試みはあるか)。 - [[システム論文の評価基準]] が扱う「良い論文の書き方」の7基準(独創性・現実性・教訓・選択・文脈・焦点・提示・文章スタイル)と、本 concept のコスト評価原則はどう補完し合うか。査読者が「文脈(Context)」基準でコスト報告の欠如を指摘する慣行は広がっているか。 - 理想的スケーリング(Principle 6)の「線形スケーリングの寛容な仮定」は、実際のシステムでどの程度楽観的すぎるか。マルチコア・マルチホストスケーリングの実測乖離を報告する後続研究はあるか。 ## 関連 - source: [[@2023__HotNets__Of Apples and Oranges - Fair Comparisons in Heterogenous Systems Evaluation]] - 実体: [[Hugo Sadok]] / [[Aurojit Panda]] / [[Justine Sherry]] / [[Carnegie Mellon University]] / [[New York University]] - 概念: [[システム論文の評価基準]] —— 論文の書き方・査読基準を扱う姉妹concept。本conceptは評価「方法論」(何を測るか)、あちらは論文「提示」(どう書くか)を扱い相補的。/ [[スケーラビリティ評価]] —— スケーラビリティという性能次元の評価を扱う。本conceptの理想的スケーリング原則(Principle 5-7)と接続しうる。/ [[性能測定]] —— 性能指標そのものの測定方法論。本conceptは性能指標に加えコスト指標を要求する点で一段広い。 ## 出典 - Hugo Sadok, Aurojit Panda, Justine Sherry, "Of Apples and Oranges: Fair Comparisons in Heterogenous Systems Evaluation," *Proceedings of the 22nd ACM Workshop on Hot Topics in Networks (HotNets '23)*, November 28-29, 2023, Cambridge, MA, USA, pp. 1-8. https://doi.org/10.1145/3626111.3628186