# Rack-Scale GPUサーバーのNW設計と運用までの苦悩 ## 概要 ソフトバンク株式会社の内田泰広氏・張朝程氏による JANOG58(松山)の登壇資料。NVIDIA GB200 NVL72 を用いた Rack-Scale GPU サーバー基盤の NW 設計(Compute/Converged/OOB の 3 Fabric 分離)、サービス提供形態(Rack/Tray/GPU 単位)の設計トレードオフ、および物理構築・運用面の苦労(ケーブリング自動化、Optics のトラブルシューティング、液冷トレイ交換)を実務者視点でまとめた資料である。 ## 主要メッセージ - **3 種の NW Fabric 分離**: Compute Fabric(GPU 間 Scale-Out、RoCEv2、BGP unnumbered + W-ECMP)、Converged Fabric(Inband + Storage、RoCEv2)、OOB Fabric(Facility 監視・NVSwitch 管理)をそれぞれ独立に設計する(p.12-17)。 - **Compute Fabric 到達性の冗長化**: クローズドな Scale-Out NW では in-band 管理制御が難しく、Mgmt port 経由は単一障害点になる。対策として 800G スイッチの Bonus Port へのケーブル2本結線(コスト大)、または Underlay Network + BGP Multipath による Loopback IP 到達性の冗長化(低コスト)を比較する(p.19-21)。 - **サービス提供形態のトレードオフ**: Rack単位(構成シンプル、大規模ユーザー向け)、Tray単位(NVLink Partition による論理分割が必要、NVSwitch 管理プロセスが単一障害点)、GPU単位(Grace CPU:B200 GPU = 1:2 でメモリ空間を同一粒度で分割できず対応コスト大)の3形態を比較し、ソフトバンクは現状 Rack単位とTray単位を提供する(p.23-31)。 - **Scalable Unit(SU)という障害ドメイン概念**: 複数の NVL72 ラックをまとめた単位で、性能重視なら同一 SU、可用性重視なら別 SU への GPU アサインを選ぶ(p.25)。 - **物理構築・運用の苦労**: 大規模ラック間ケーブリングの短納期化と自動化、Optics 障害切り分けの BER(Pre-FEC/Post-FEC)/FEC Symbol Error Bins 活用、AEC(Active Electrical Cable)による Optics 代替、液冷トレイ交換時の満水確認・水温・水圧監視(p.33-56)。 ## 視覚的に重要な図表 **p.1 タイトルスライド** ![[_attachments/janog58-rack-scale-gpu/page-001.png]] 「Rack-Scale GPUサーバーのNW設計と運用までの苦悩」ソフトバンク株式会社 内田泰広・張朝程による JANOG58 発表。 **p.5 GB200 NVL72 ラック構成** ![[_attachments/janog58-rack-scale-gpu/page-005.png]] OCP ORv3 準拠、Busbar +48V 給電、PowerShelf 2N 冗長、Compute Tray×18/Switch Tray×9 の物理構成。 **p.9 CDU/Manifold 液冷コンポーネント** ![[_attachments/janog58-rack-scale-gpu/page-009.png]] ラック内冷媒循環を担う CDU と、背面配管で各 Tray のコールドプレートへ冷媒を分配する Manifold の位置関係。 **p.13 Compute Fabric アーキテクチャ** ![[_attachments/janog58-rack-scale-gpu/page-013.png]] GPU 間高速通信を担う Back-end NW。RDMA(RoCEv2)、BGP unnumbered、BGP W-ECMP によるマルチテナント閉域接続。 **p.25 Scalable Unit と GPU アサインのトレードオフ** ![[_attachments/janog58-rack-scale-gpu/page-025.png]] 性能重視は同一 SU、可用性重視は別 SU への GPU アサインという設計判断を図解する。 **p.28 NVLink Partition Management** ![[_attachments/janog58-rack-scale-gpu/page-028.png]] InfiniBand P_Key を用いた NVSwitch のマルチテナント機能。代表 Compute Tray で稼働する NMX-C がクラスタ管理プロセスを担う。 **p.39 VSFF パッチパネル比較** ![[_attachments/janog58-rack-scale-gpu/page-039.png]] 大規模ラック間ケーブリングにおける光パッチパネル形式の比較。 **p.44・p.46 Optics 障害切り分け(BER/FEC)** ![[_attachments/janog58-rack-scale-gpu/page-044.png]] ![[_attachments/janog58-rack-scale-gpu/page-046.png]] Pre-FEC/Post-FEC の BER と FEC Symbol Error Bins を用いた光リンク劣化の切り分け手順。 **p.50 AEC(Active Electrical Cable)と Optics の比較** ![[_attachments/janog58-rack-scale-gpu/page-050.png]] 短距離区間における AEC 採用のコスト・信頼性上の利点。 **p.53 液冷トレイ交換の失敗モード** ![[_attachments/janog58-rack-scale-gpu/page-053.png]] 満水確認・水温監視・水圧監視を前提としたトレイ交換手順とトラブル発生パターン。 ## 概念・実体への接続 - [[AIデータセンタートポロジ]] — スケールアップ/スケールアウトの理論的設計軸に対し、本資料は NVL72 の Compute/Converged/OOB Fabric 分離という実運用上の実装を示す。 - [[GPUクラスタ運用]] — 液冷トレイ交換、Optics の BER/FEC トラブルシュートという、ハードウェア障害の物理的側面を補強する。 - [[ソフトバンク株式会社]] / [[内田泰広]] / [[張朝程]] / [[NVIDIA]] ## 限界・不確実点 - 発表日は JANOG58(松山)開催時期からの推定であり、`date_published` は年月までの精度とする。 - 一部のスライド(p.16 など)は「(参考)」と付記された補足スライドであり、本編との位置づけの軽重は口頭説明がないと判断できない。transcript は取得できていない(公式ページに音声・動画の公開情報なし)。 - BER/FEC の具体的な閾値数値や UQD/UQDB/MQD プラグの互換性詳細は図表内の記載に留まり、口頭での背景説明を補えていない。