# Perlmutter Architecture ## 概要 NERSC のスーパーコンピュータ [[Perlmutter]] のハードウェア構成を述べた公式ドキュメントである。パーティション別のノード構成・性能、ネットワーク、ノード仕様、ストレージを記す。 ## システム構成 - HPE Cray EX(HPE Cray Shasta プラットフォーム)。名称は 2011 年ノーベル物理学賞の Saul Perlmutter(Berkeley Lab の天体物理学者、NERSC の長年の利用者)に由来する。 - CPU 専用 3,072 ノードと GPU 搭載 1,792 ノードのヘテロジニアスなシステムである。 | パーティション | ノード数 | CPU | GPU | NIC | | --- | --- | --- | --- | --- | | GPU | 1,536 | EPYC 7763 ×1 | A100 40GB ×4 | Slingshot 11 ×4 | | GPU | 256 | EPYC 7763 ×1 | A100 80GB ×4 | Slingshot 11 ×4 | | CPU | 3,072 | EPYC 7763 ×2 | なし | Slingshot 11 ×1 | | ログイン | 40 | EPYC 7713 ×2 | A100 40GB ×1 | なし | | パーティション | 種別 | ピーク FP64(PFLOPS) | 総メモリ(TB) | | --- | --- | --- | --- | | GPU | CPU | 4.5 | 448 | | GPU | GPU | 69.5(テンソル 140) | 328 | | CPU | CPU | 15.4 | 1,536 | ## インターコネクト - 3 ホップのドラゴンフライトポロジ([[ドラゴンフライトポロジ]])。各サブシステム(計算・I/O・サービスの 3 つ)が独自のドラゴンフライを持つ。 - GPU 計算キャビネットは 8 シャーシで、各シャーシに計算ブレード 8 枚とスイッチブレード 4 枚を持つ。GPU 計算ブレードは GPU ノード 2 台を含む。キャビネットは 16 スイッチのドラゴンフライグループ 2 つ(スイッチブレード 32 枚)を持つ。 - CPU 専用キャビネットも 8 シャーシで、各シャーシに計算ブレード 8 枚とスイッチブレード 2 枚を持つ。CPU ブレードは CPU ノード 4 台を含み、キャビネットごとに 16 スイッチのドラゴンフライグループ 1 つを持つ。 - シャーシにバックプレーンは無く、キャビネット背面のスイッチブレードが前面の計算ブレード間を結ぶ。 - 各グループ内は電気的な全対全である。銅の L0 ケーブルがノードとスイッチを結ぶ(ホストリンク)。銅の L1 ケーブルがグループ内のスイッチ間を、1 対あたり 2 ケーブル(4 リンク)で結ぶ(ローカルリンク)。光の L2 ケーブルがグループ間とサブシステム間を結ぶ(グローバルリンク。1 ケーブルあたり 1 方向 2 リンク)。 - NIC は HPE の独自 Cassini で、PCIe 4.0 接続、200G(25 GB/s)である。 **Figure 1: CPU / GPU 計算シャーシのネットワーク図** ![[_attachments/perlmutter-architecture/fig01-chassis-network.png]] (上が CPU 計算シャーシ、下が GPU 計算シャーシ。ネットワークスイッチと接続の種類を示す。) ## ノード仕様 ### GPU ノード - EPYC 7763(Milan)1 基(64 コア)、A100(Ampere)4 基、DDR4 256 GB、CPU メモリ帯域 204.8 GB/s。 - GPU メモリ帯域は 40GB HBM2 が 1,555 GB/s、80GB HBM2e が 2,039 GB/s。 - GPU 間は NVLink 第 3 世代を各対に 4 本(1 本あたり片方向 25 GB/s)。GPU-CPU と NIC-CPU は PCIe 4.0。 **Figure 2: GPU ノードの構成** ![[_attachments/perlmutter-architecture/fig02-gpu-node.png]] (EPYC(Milan)を中心に、A100 4 基を NVLink-3 で全結合し、PCIe-G4 で CPU と NIC に接続する。) | データ型 | GPU あたり TFLOPS | | --- | --- | | FP32 | 19.5 | | FP64 | 9.7 | | TF32(テンソル) | 155.9 | | FP16(テンソル) | 311.9 | | FP64(テンソル) | 19.5 | ### CPU ノード - EPYC 7763 ×2(各 64 コア)、AVX2、DDR4 計 512 GB、CPU あたりメモリ帯域 204.8 GB/s、NIC 1 本、1 コア 39.2 GFlops、1 ソケット 2.51 TFlops、ソケットあたり NUMA ドメイン 4(NPS=4)。 ### ログインノード - EPYC 7713 ×2、メモリ 512 GB、A100 40GiB ×1、NIC 2 本(PCIe 4.0)、ローカル SSD 960 GB、ソケットあたり NUMA ノード 1(NPS=1)。 ## ストレージ - Perlmutter スクラッチは 44 PB のオールフラッシュファイルシステムで、集約帯域は読み出し 7.8 TB/s、書き込み 6.6 TB/s、4 KiB ランダムで 400 万 IOPS。メタデータサーバ(MDS)16 台、I/O サーバ(OSS)370 台。 ## 出典 - 原本: `.raw/articles/perlmutter-architecture-2026-09-21.md`(2026-09-21 取得。掲載日はページに記載が無い)