# GPU性能変動 ## 定義 GPU 性能変動(GPU performance variability)は、同一型番・同一仕様の GPU 群であっても、製造ばらつき・電力供給の個体差・DVFS(動的電圧周波数スケーリング)の挙動差により、同一ワークロードの実行時間やスループットが GPU 間で有意にばらつく現象を指す。[[@2026__TPDS__Quantifying Performance Variability in GPU Clusters]] は、NVIDIA A100(NERSC の [[Perlmutter]])と GH200(TACC の [[Vista]])の両世代で、GEMM マイクロベンチマークの変動が Tensor Cores で 3.7〜8.8%、CUDA Cores で 0.1〜8.2% に及ぶことを実測する。分散深層学習における[[ストラグラー]]が「同期バリアで他より遅く終わるワーカー」というジョブ実行時の症状を扱うのに対し、GPU 性能変動はその症状を生みうる根本要因の一つ——GPU ハードウェア自体が持つ個体差——に焦点を当てる。 ## 横断的知見 - **GPU 間の性能ばらつきは、性能モデリングの予測誤差として現れうる**: [[@2025__arXiv__Efficient Fine-Grained GPU Performance Modeling for Distributed Deep Learning of LLM]](GPUPerf)は同じ [[Vista]]/[[Perlmutter]] のテストベッドを用いて LLM 訓練のイテレーション時間を予測するモデルを構築し、Vista で平均予測誤差 9.38%(最小・平均訓練時間の差は 5.21%〜108.30%)、Perlmutter で 4.98% と報告した上で、「Vista の高い誤差はモデリングの不正確さよりネットワークジッタ・輻輳に起因する可能性が高い」と結論づけている。しかし [[@2026__TPDS__Quantifying Performance Variability in GPU Clusters]] は同じ Vista で GEMM(Tensor Cores)の GPU 間変動を 3.7〜6.3% と実測しており、ネットワーク要因を仮定しなくても GPU ハードウェア自体の変動だけで GPUPerf の誤差の相当部分を説明しうる。GPUPerf は「単一 GPU/ノードで全通信がノード間 InfiniBand を通るため Vista はネットワーク輻輳に脆弱」という帰属のみを検討しており、GPU 個体差という代替(または並存する)要因を明示的には検証していない——同じテストベッドを使う 2 つの独立した研究が、同じ現象(Vista の高い変動)に異なる根本要因を割り当てている可能性がある。(Source: [[@2026__TPDS__Quantifying Performance Variability in GPU Clusters]], [[@2025__arXiv__Efficient Fine-Grained GPU Performance Modeling for Distributed Deep Learning of LLM]]) - **変動の大きさは計算パスとデータ精度に系統的に依存し、汎用的な「GPU は遅い/速い」という二値評価では捉えられない**: Tensor Cores は低精度データ型(FP8/BF16/FP16)ほど CUDA Cores より変動が大きく、CUDA Cores は精度が上がるほど単調に変動が増加する(FP64 が最大)。これは、変動を緩和するスケジューリング判断が「どの GPU を避けるか」ではなく「どの計算パス・精度のワークロードをどの GPU に載せるか」という組み合わせ問題であることを示唆する。(Source: [[@2026__TPDS__Quantifying Performance Variability in GPU Clusters]]) - **同一の GPU が複数の独立した実験で一貫して外れ値になる**: Vista のノード c640-041・c621-102 は精度・計算パスを問わず複数の GEMM 実験で最遅 3 台の一角として繰り返し出現する。これは変動がランダムノイズではなく GPU 個体に紐づく持続的特性であることを意味し、ヘルスチェックによる外れ値検出・交換という運用上の緩和策を正当化する。(Source: [[@2026__TPDS__Quantifying Performance Variability in GPU Clusters]]) ## 未解決の問い - GPUPerf が Vista の高予測誤差の要因として挙げる「ネットワークジッタ・輻輳」と、本論文が実測する「GPU ハードウェア自体の変動」は、それぞれどの程度の割合で予測誤差に寄与しているか。両者を同一テストベッド・同一時期に切り分けて計測する研究は存在するか。 - GPU 性能変動(ハードウェア個体差)とストラグラー(ジョブ実行時のアルゴリズム的不均衡)は、大規模分散訓練の実運用でどちらが支配的な減速要因か。ストラグラー研究([[@2025__OSDI__Understanding Stragglers in Large Model Training Using What-if Analysis]])は「主因は計算側の不均衡でありハードウェア障害ではない」と結論するが、本論文が実証する 8.0〜8.5% のスループット低下(単一の最遅 GPU 混入)はハードウェア性能変動だけでもストラグラー相当の実害を生むことを示す。両者はどのように相対的な寄与を切り分けられるか。 - 製造ばらつき・DVFS 挙動・電力供給差のうち、GPU 性能変動への寄与度はどの程度に分解できるか。本論文はユーザとしてのアクセス制約により電源供給等を直接操作した切り分け実験ができないと明記しており、ベンダー側のアクセスを持つ研究でこの分解は可能か。 ## 関連 - ソース: [[@2026__TPDS__Quantifying Performance Variability in GPU Clusters]] / [[@2025__arXiv__Efficient Fine-Grained GPU Performance Modeling for Distributed Deep Learning of LLM]] - 概念: [[ストラグラー]](ジョブ実行時の症状としての遅延ワーカー) / [[GPUクラスタ運用]](運用全般) / [[GPUクラスタスケジューリング]] / [[GPUエネルギー効率]] - エンティティ: [[Vista]] / [[Perlmutter]] / [[NVIDIA GH200]] / [[Rutgers University]] / [[George Mason University]] - 関連 MOC: [[HPC - MOC]] ## 出典 - [[@2026__TPDS__Quantifying Performance Variability in GPU Clusters]](§V-A GEMM・STREAM 変動測定, §V-B 実アプリケーション変動, Table II/III/IV/VII) - [[@2025__arXiv__Efficient Fine-Grained GPU Performance Modeling for Distributed Deep Learning of LLM]](表VIII 性能安定性, §IV-C アーキテクチャの影響)