# GPUマイクロベンチマーク ## 定義 GPUマイクロベンチマークとは、GPU の単一機能や命令に対象を絞り、レイテンシ・スループット・帯域幅・電力効率などを測る実験である。アプリケーション全体の性能を直接説明するものではないが、公開仕様だけでは分からないメモリ階層・命令実行・世代差を分離して調べる手段になる。 ## 横断的知見 - Hopper の評価では、PTX を SASS へ対応づける命令レベル測定と、Transformer Engine・Llama 生成のライブラリ/アプリケーション測定を組み合わせることで、命令の理論性能と実ワークロードの性能差を切り分けている。(Source: [[@2024__arXiv__Benchmarking and Dissecting the Nvidia Hopper GPU Architecture]]) - 周波数変動や電力上限が結果を変えるため、スループットの分母を総クロック数ではなく実時間とし、H800 のランダム値行列では350W制限による周波数低下を観測している。(Source: [[@2024__arXiv__Benchmarking and Dissecting the Nvidia Hopper GPU Architecture]]) - 同じマイクロベンチマークでも、単一命令のレイテンシから実ワークロードの GEMM・Transformer 推論まで測定階層を広げないと、理論的な精度対応と実効性能の乖離を説明できない。Blackwell の低精度 MMA は GB203 が優位だったが、FP8 D-GEMM は GH100 が約4倍のスループットを示した。(Source: [[@2024__arXiv__Benchmarking and Dissecting the Nvidia Hopper GPU Architecture]], [[@2025__arXiv__Dissecting the NVIDIA Blackwell Architecture with Microbenchmarks]]) - PTX/SASS の命令対応、依存列、ILP、ワープ数、キャッシュ境界、電力状態を同時に記録することが、GPU 世代比較の再現性を左右する。公開仕様だけでは見えないスケジューリングとソフトウェア経路を、マイクロベンチマークが補完している。(Source: [[@2024__arXiv__Benchmarking and Dissecting the Nvidia Hopper GPU Architecture]], [[@2025__arXiv__Dissecting the NVIDIA Blackwell Architecture with Microbenchmarks]]) ## 未解決の問い - 同じマイクロベンチマークを H100・H800 の PCIe/SXM、異なる冷却・電力設定で実行したとき、命令性能の差はどこまで再現するか。 - PTX/SASS レベルの結果を、実際の Transformer カーネルや通信カーネルの性能モデルへどのように接続できるか。 - Blackwell の FP4/FP6 MMA と TensorRT の推論結果を、同じモデル・同じ精度・同じ電力条件で H100/B200 などへ拡張したとき、理論性能と実効性能の差はどの要因に分解できるか。 ## 関連 - 概念: [[性能測定]] / [[GPU最適化]] / [[GPU観測性]] / [[テンソルコア]] - エンティティ: [[NVIDIA Hopper]] / [[A100 PCIe]] / [[RTX4090]] / [[H800]] / [[CUDA]] / [[PTX]] - ソース: [[@2024__arXiv__Benchmarking and Dissecting the Nvidia Hopper GPU Architecture]] - ソース: [[@2025__arXiv__Dissecting the NVIDIA Blackwell Architecture with Microbenchmarks]] ## 出典 - [[@2024__arXiv__Benchmarking and Dissecting the Nvidia Hopper GPU Architecture]]