# NVIDIA GB200 NVL72 Navigation: [[entities/_index]] | [[index]] [[NVIDIA]]のGrace Blackwell Superchip(GB200、1基のGrace CPU+2基のBlackwell GPU)を18コンピュートノード(各ノード2 Superchip=4 GPU+2 CPU)束ねた72GPU/36CPU規模のラックスケールプラットフォーム。全GPUをNVLink 5とNVSwitch(9スイッチトレイ・計18 NVSwitchチップ)経由の単一ホップ全結合(bisection帯域約130TB/s)で結び、単一のNVLinkドメインとして「1台の巨大GPU」のように振る舞わせる設計が中核概念である。(Source: [[@2025__OReilly__AI Systems Performance Engineering - Chapter 2 AI System Hardware Overview]]) Grace CPUとBlackwell GPUはNVLink-C2C(約900GB/s、キャッシュコヒーレント)で結合され、Superchip単位で約900GBの統一メモリ空間を提供する。前世代のGH200([[NVIDIA GH200]]、1CPU+1GPU構成)に対し、GB200は1CPUに2GPUを結合する構成へ拡張された。消費電力は最大約130kWに達し液冷が必須で、重量約1.3〜1.4トンなど、データセンター設備側の制約も含めた協調設計(co-design)の対象となっている。後継のBlackwell Ultra世代([[NVIDIA GB300 NVL72]])はメモリ容量・推論スループットの向上を伴うドロップイン更新であり、さらに次世代のVera Rubin世代([[NVIDIA Vera Rubin NVL72]])へとロードマップが続く。(Source: [[@2025__OReilly__AI Systems Performance Engineering - Chapter 2 AI System Hardware Overview]]) NVIDIAが報告した実測値として、1.8兆パラメータMoEモデルの推論スループットは、H100の約3.4トークン/秒/GPU(初回トークンレイテンシ5秒超)からGB200 NVL72の約150トークン/秒/GPU(初回トークンレイテンシ約50ms)へ約30倍改善した。これはBlackwell GPU自体の計算性能向上に加え、NVFP4などの低精度化とNVLink/NVSwitchによる通信オーバーヘッド削減が組み合わさった結果である。(Source: [[@2025__OReilly__AI Systems Performance Engineering - Chapter 2 AI System Hardware Overview]]) ## 関連 - 本ソース: [[@2025__OReilly__AI Systems Performance Engineering - Chapter 2 AI System Hardware Overview]] - 開発元: [[NVIDIA]] - 前世代: [[NVIDIA GH200]] - 後継世代: [[NVIDIA GB300 NVL72]] / [[NVIDIA Vera Rubin NVL72]] - 関連 concept: [[NVLink]] / [[混合精度訓練]] ## 出典 - [[@2025__OReilly__AI Systems Performance Engineering - Chapter 2 AI System Hardware Overview]]