# AIデータセンタートポロジ ## 定義 AI/ML ワークロード、特に LLM 分散訓練に特化したデータセンターネットワークトポロジの設計・選択・コスト最適化に関する概念。従来のクラウドサービス向け Clos ネットワーク(Fat Tree)とは根本的に異なり、**スケールアップネットワーク**(ラック内 GPU 間高速相互接続)と**スケールアウトネットワーク**(ラック間通信)の二層構造が中心となる。 スケールアップネットワークは NVIDIA NVLink/NVSwitch・AMD Infinity Fabric・Intel Gaudi の Ethernet など独自/標準実装があり、テンソル・シーケンス並列の高帯域・低レイテンシ通信を担う。スケールアウトネットワークは RoCEv2 または InfiniBand を用い、データ並列・パイプライン並列の通信を担う。([[@2024__HotNets__I've Got 99 Problems But FLOPS Ain't One]]) ## 主要設計軸 ### スケールアップネットワーク ラック内 GPU の全結合高速接続。NVIDIA NVL72 では 1 ラック 72 GPU が NVSwitch で 14.4 Tbps NVLink で相互接続。テンソル/シーケンス並列の all-gather + reduce-scatter(計算と隠蔽不可)を担う。スケールアップ帯域が百万 GPU スケールでは支配的ボトルネックになる。 ### スケールアウトネットワーク(Fat Tree) ラック間接続。標準 Fat Tree は 4 段・87,500 スイッチ・240 万リンクを要し、光トランシーバだけで 50 億ドルに達する。予算 10%(50 億ドル/DC)を大幅に超えるため代替が必要。 **マルチプレーン設計**: 1 チップを複数の論理プレーンに構成し実効スイッチラジクスを拡大。256 ポートスイッチで 3 段まで削減。スイッチ数・リンク数を 1/3 に減らせる。 **マルチレール設計**: 各ラックの 1 GPU のみをスケールアウトに接続し、ラックを独立レールに分割。72 レール × 11K GPU のサブネットワーク。 組み合わせると**スイッチコスト 50%・リンクコスト 66% 削減**が可能。 ### ワイドエリアネットワーク(複数 DC 間) 電力制約から単一拠点で 4 GW 以上を調達できないため、複数 DC(東西海岸分割等)にわたる訓練が必要になる。GPU あたり 20 Gbps 以上のワイドエリア帯域と無損失トランスポートがあれば、30 ms 伝播遅延を計算で完全に隠蔽できる。 ## 横断的知見 - **Fat-Tree が現代 AI データセンターネットワークの源流**: [[Mohammad Al-Fares]] ら UCSD が SIGCOMM 2008 で提案した k-ary Fat-Tree（[[@2008__SIGCOMM__A Scalable Commodity Data Center Network Architecture]]）は、均質な商用 GigE スイッチのみで全二分帯域幅（過剰購読比 1:1）を実現した最初の実用アーキテクチャである。k=48 で 27,648 ホストに対応し、従来設計比でコストを約 77% 削減した。現在のクラウドサービス向け Clos / Fat-Tree ネットワーク設計はこの論文を直接の出発点としており、AI 向けスケールアウトネットワーク議論の文脈でも「従来の Fat-Tree では百万 GPU スケールに対応できない」という問題提起が成立する。(Source: [[@2008__SIGCOMM__A Scalable Commodity Data Center Network Architecture]], [[@2024__HotNets__I've Got 99 Problems But FLOPS Ain't One]]) - **Fat Tree から マルチプレーン・マルチレールへのシフトが不可避**: 百万 GPU スケールではスイッチコストが 50 億ドル/DC を超え、従来の完全プロビジョニング Fat Tree は予算内に収まらない。マルチプレーン・マルチレール合算でコスト半減が実現可能。ただしスケジューリング(Slurm 等)とフォールトトレランスの新たな対応が必要。(Source: [[@2024__HotNets__I've Got 99 Problems But FLOPS Ain't One]]) - **スケールアップ帯域がスケールアウトより先に飽和する**: 0.8 Tbps では露出ネットワーキング 40%/75%、14.4 Tbps(NVLink 5 相当)で 5%/20%。スケールアウト 800 Gbps で頭打ちになるが、スケールアップは依然改善余地が大きい。つまり「ネットワークがボトルネット」の中でも、スケールアップが最優先の研究課題。(Source: [[@2024__HotNets__I've Got 99 Problems But FLOPS Ain't One]]) - **トポロジとスケジューリングは密結合**: マルチレール構成ではラック N の GPU N がラック M の GPU N とのみ直接通信できる(N≠M の GPU は scale-up を経由)。障害時の配置変更自由度が下がる。完全マルチレールよりレール数を減らしてスケジューリング自由度を確保する設計トレードオフがある。 - **理論的な二層構造は実運用では3種の Fabric 分離として現れる**: HotNets の議論はスケールアップ(NVLink)/スケールアウト(RoCEv2 or InfiniBand)の二層で語られるが、ソフトバンクの NVL72 実運用ではさらに Converged Fabric(Inband + Storage)と OOB Fabric(Facility 監視・NVSwitch 管理)を独立分離する。理論上の二層設計を実装に落とすと、管理系・ストレージ系トラフィックの隔離という追加の運用要件が生じる。また Scalable Unit(SU、複数ラックをまとめた障害ドメイン)という単位で「性能重視は同一 SU、可用性重視は別 SU」という GPU アサインのトレードオフが実務上発生し、マルチレール設計が持つ「障害時の配置変更自由度低下」という理論的懸念と符合する。(Source: [[@2024__HotNets__I've Got 99 Problems But FLOPS Ain't One]], [[@2026__JANOG58__Rack-Scale GPUサーバーのNW設計と運用までの苦悩]]) - **ラックスケールトポロジの制約が「ネットワーク帯域」から「電力予算」へ移りつつある**: これまでの横断的知見は、スケールアップ/スケールアウトの帯域配分とコスト(Fat Tree→マルチプレーン/マルチレール)、Fabric 分離(Converged/OOB)といったネットワーク側の制約を中心に扱ってきた。[[NVIDIA Vera Rubin NVL72]] は同じ 72-GPU ラックスケール統合(NVIDIA NVL72 の後継)を維持しつつ、Intelligent Power Smoothing(ピーク電力を約 20%・平均電力を約 10% 削減)と DSX MaxLPS(同一電力予算内で GPU 数を最大 40% 増加)という電力側の co-design を前面に出す。ネットワークトポロジのコスト最適化(マルチプレーン/マルチレールでスイッチ 50%・リンク 66% 削減)が進んだ結果、次のボトルネックがラック内配線・帯域ではなく「同じ電力でどれだけ GPU を詰め込めるか」という座礁電力(stranded power)の回収に移っていることを示唆する。(Source: [[@2026__NVIDIA Developer Blog__Inside NVIDIA Rubin GPU Architecture Powering the Era of Agentic AI]], [[@2024__HotNets__I've Got 99 Problems But FLOPS Ain't One]]) - **スケールアップ/スケールアウトの「二層構造」自体を解消する第 3 の設計選択肢として FullFlat(全光配線 CPO)トポロジが定量実証された**: これまでの横断的知見はスケールアップ(NVLink)とスケールアウト(RoCEv2/InfiniBand)の帯域差を前提に、Fat-Tree→マルチプレーン/マルチレールというスケールアウト側のコスト最適化を扱ってきた。[[@2026__ICS__Closing the Efficiency Gap - AI Datacenter Co-design Roadmap for Scalable Training of LLMs]] の [[Calculon-MoE]] 分析は、2D/3D HyperX・PolarFly/PolarStar 系の高基数・低直径 CPO トポロジで SU/SO 帯域幅を完全に均等化する FullFlat 設計を提案し、TwoTier ネットワーク比で上位 5,000 パラメータ構成間の性能ギャップを 70%→13% に縮小、11〜13% のスループット改善、30〜50% の電力削減を同時に達成することを示した。二層構造は「スケールアップ帯域が先に飽和する」という HotNets の指摘([[@2024__HotNets__I've Got 99 Problems But FLOPS Ain't One]])を前提にスケールアップ帯域拡張を優先課題としてきたが、FullFlat はこの前提そのものを設計で解消する第 3 の道である点で異なるレイヤーの回答となる。(Source: [[@2026__ICS__Closing the Efficiency Gap - AI Datacenter Co-design Roadmap for Scalable Training of LLMs]], [[@2024__HotNets__I've Got 99 Problems But FLOPS Ain't One]]) - **HBD(高帯域ドメイン)サイズの co-design 目標値が定量化された**: [[@2026__ICS__Closing the Efficiency Gap - AI Datacenter Co-design Roadmap for Scalable Training of LLMs]] は、TP/EP/ES がスケールアップドメイン(HBD)を越えて溢れると性能が最大 20% 低下することを示し、GPT4-29T 級 MoE モデルでは HBD=1024 が妥当な目標だと結論した(576-GPU ダイの次世代 NVIDIA Rubin Ultra はこの規模に近い)。これは NVIDIA GB200(HBD=72)→Rubin(HBD=144〜576)という HBD 拡大トレンドに対し、「どこまで拡大すれば十分か」という定量的な上限を co-design 分析から与えた点で新規である。ラックスケール NVL72 の議論([[NVIDIA Vera Rubin NVL72]])が電力側の座礁電力回収を焦点化する一方、本研究は同じラックスケール拡大トレンドをネットワーク性能側から裏付ける。(Source: [[@2026__ICS__Closing the Efficiency Gap - AI Datacenter Co-design Roadmap for Scalable Training of LLMs]], [[@2026__NVIDIA Developer Blog__Inside NVIDIA Rubin GPU Architecture Powering the Era of Agentic AI]]) - **Scale Up・Scale Out に加え「Scale Outside(DC間)」という第3のネットワークドメインが独立に語られ、それぞれで新規格が並行提案されている**: [[@2025__SpeakerDeck__AIインフラを考える]] は、ラック内(Scale Up、超低遅延・高帯域)、ラック間(Scale Out、High-Radix/High-Bandwidth)、DC間(Scale Outside、長距離・分散型AIクラスタ)という3ドメインそれぞれで新規格仕様(Scale Up: Broadcom Scale-Up Ethernet Framework・UALink、Scale Out: [[Ultra Ethernet]])が並行して提案・実装されていることを示した。既存知見(HotNets 2024)が Scale Up/Scale Out の二層構造とその帯域非対称性を論じるのに対し、本資料は「Scale Up帯域 > Scale Out帯域という帯域の非対称性が課題」と明示的に言語化し、ワイドエリアネットワーク(DC間)を独立した第3のドメインとして切り出す整理を加える。(Source: [[@2025__SpeakerDeck__AIインフラを考える]], [[@2024__HotNets__I've Got 99 Problems But FLOPS Ain't One]]) - **単一プレーンから複数プレーンへの移行は、コスト削減だけでなく可用性(Resilience)向上という別の動機でも語られる**: 既存知見はマルチプレーン/マルチレールを主にコスト最適化(スイッチ50%・リンク66%削減)の文脈で扱ってきたが、[[@2025__SpeakerDeck__AIインフラを考える]] は 102.4T Switch Fabric の単一プレーン構成から 51.2T Switch Fabric×2 のマルチプレーン構成への移行を、「片方のプレーンに問題があっても他方で計算を継続できる」という可用性向上の動機で説明し、そのトレードオフとしてスイッチ台数増加に伴う運用負荷増を挙げた。同じアーキテクチャ変化(単一プレーン→マルチプレーン)が、コスト最適化と可用性向上という異なる目的関数から独立に正当化されうることを示す。(Source: [[@2025__SpeakerDeck__AIインフラを考える]]) ## 未解決の問い - マルチレール・マルチプレーンはジョブスケジューリング(Slurm 等)とフォールトトレランスにどう影響するか。既存のスケジューラは対応できるか。 - 「目標モデルに対して最適なマルチプレーン数・レール数の組み合わせ」を自動的に決定するアルゴリズムはあるか。 - ワイドエリアトランスポートでは B4 的なコントローラ(トラフィックエンジニアリング + アドミッションコントロール)と分散型マルチパスのどちらが LLM 訓練に適するか。 - スケールアップネットワークの標準化(UALink グループ)は NVLink 的なスイッチベース多段に落ち着くか、それとも P2P メッシュが残るか。 - マルチプレーン + マルチレール構成で、訓練中のランク配置がトポロジ局所性を利用できるか、現行の NCCL/通信プリミティブはそのまま使えるか。 - DSX MaxLPS の「同一電力予算で GPU 数最大 40% 増」は、マルチプレーン/マルチレールのネットワークコスト削減と独立に積み上がる改善か、それとも GPU 密度増加がスケールアップ帯域(NVLink)の飽和をさらに早めるトレードオフを伴うか。 - FullFlat CPO トポロジ(2D/3D HyperX・PolarFly/PolarStar)は「2030 年までに実現する」と見込まれているが([[@2026__ICS__Closing the Efficiency Gap - AI Datacenter Co-design Roadmap for Scalable Training of LLMs]] §2.2.2)、マルチプレーン/マルチレールによる Fat-Tree コスト最適化との投資優先順位はどう決まるか。両者は競合する投資選択肢か、過渡的に併存しうるか。 - HBD=1024 という目標値は GPT4-29T という仮想的な what-if モデルから導かれた。実在のモデル群(DeepSeek-V4・Kimi K3 等、数百〜900 エキスパート規模)に対しても同じ HBD サイズが最適か、エキスパート数と最適 HBD サイズの関係を定式化できるか。 ## 関連 - 概念: [[LLM分散学習]] / [[データセンター輻輳制御]] / [[RDMA]] / [[集合通信]] / [[RoCE設計課題]] / [[ネットワーク対応スケジューリング]] / [[Mixture-of-Experts]] / [[並列化戦略]] - ソース: [[@2024__HotNets__I've Got 99 Problems But FLOPS Ain't One]] / [[@2025__SIGCOMM__Astral - A Datacenter Infrastructure for Large Language Model Training at Scale]] / [[@2024__NSDI__MegaScale - Scaling Large Language Model Training to More Than 10,000 GPUs]] / [[@2026__JANOG58__Rack-Scale GPUサーバーのNW設計と運用までの苦悩]] / [[@2026__NVIDIA Developer Blog__Inside NVIDIA Rubin GPU Architecture Powering the Era of Agentic AI]] / [[@2026__ICS__Closing the Efficiency Gap - AI Datacenter Co-design Roadmap for Scalable Training of LLMs]] - エンティティ: [[Costin Raiciu]] / [[University Politehnica of Bucharest]] / [[Broadcom]] / [[NVIDIA]] / [[ソフトバンク株式会社]] / [[NVIDIA Vera Rubin NVL72]] / [[Calculon-MoE]] - 関連 MOC: [[分散深層学習 - MOC]] ## 出典 - [[@2024__HotNets__I've Got 99 Problems But FLOPS Ain't One]] - [[@2008__SIGCOMM__A Scalable Commodity Data Center Network Architecture]] - [[@2026__JANOG58__Rack-Scale GPUサーバーのNW設計と運用までの苦悩]] - [[@2026__NVIDIA Developer Blog__Inside NVIDIA Rubin GPU Architecture Powering the Era of Agentic AI]](Vera Rubin NVL72: Intelligent Power Smoothing・DSX MaxLPS による電力密度最適化) - [[@2026__ICS__Closing the Efficiency Gap - AI Datacenter Co-design Roadmap for Scalable Training of LLMs]](Calculon-MoE: FullFlat CPO トポロジによる SU/SO 帯域均等化で性能ギャップ 70%→13%、HBD=1024 の co-design 目標値、TwoTier-HBD64/128 対 FullFlat の定量比較) - [[@2025__SpeakerDeck__AIインフラを考える]](Scale Up/Scale Out/Scale Outsideの3ドメイン区分・帯域非対称性・単一プレーンからマルチプレーンへの移行によるResilience向上とスイッチ台数増のトレードオフ)