# クラウドデータセンターネットワークの"いま"と"これから" Navigation: [[../index|index]] | [[../overview|overview]] ## 概要 [[Masayuki Kobayashi]](発表当時 LINEヤフー所属、SpeakerDeckアカウント名 markunet)が2023年6月12日に「AI/ML/HPCネットワーク分科会」で発表した資料。大規模言語モデル・生成AIの台頭を背景に、従来の Web Scale クラウドデータセンターネットワーク(Clos/Fabricトポロジ、CPU-Centric)がなぜ AI/ML ワークロードに適さないのかを、コンピューティングの disaggregation(CPU→DPU/IPU→GPGPU)という物理的変化から説き起こし、RDMA・RoCEv2・ロスレスイーサネットのチューニング、GPU Interconnect Network Topology(Rail Optimized)、ラックデザイン変更(ToR→EoR)、Dragonfly+ のような非Closトポロジまで一気通貫で扱う。全37ページ中5ページ(p.27-29, p.33, 実際のスライド番号でp.27・p.28・p.29・p.33に相当)は「非公開」スライドとして本文が伏せられている。 ## 主要メッセージ - ネットワーク進化の駆動要因は Computing Innovation(分散機械学習、AI Chip高速化)と Storage Innovation(分散ストレージ、NVMe/PMEM)であり、両者が Job Completion Time 削減・モデル開発でのレイテンシ削減という形でネットワークに進化圧をかける(p.2)。 - コンピューティングは CPU-Centric から Distributed & Disaggregated Computing へ移行し、DPU/IPU が I/O・HV・Network スタックを CPU から引き剥がして GPGPU・NVMe ストレージと直接 PCIe 接続する構成になる。この結果ネットワークは Web Scale Fabric(Frontend)と Scheduled Fabric AI/ML(Backend)の2系統に分離する(p.7-9)。 - Web Scale Network はフローを区別せず ECMP に依存するため RDMA を支援できず、マルチテナント環境では「非常に "Lossy" なネットワーク」になる。AI/ML ワークロードには Full Bisection Bandwidth・Loss-Less Flow Control・Dynamic Load Balancing を備えた独立の Backend Network(Interconnection Network)が必要(p.18-20)。 - RDMA の再送はハードウェア実装の Go-Back-N であり、通常の IP ネットワークが TCP で吸収できるパケットロスを RDMA では吸収できない。そのため RoCEv2 はロスレスネットワークを前提として設計されている(p.19)。 - 現在採用している GPU Interconnect Network Topology は Rail Optimized Topology(同じ HCA/NIC は同じ Leaf switch に接続)であり、ラックデザインは電源制約から ToR(Top-of-Rack)ではなく EoR(End-of-Row)へ変更し、ToR switch の代わりにパッチパネルを配置する(p.23-24)。 - Clos トポロジはネットワークサイズとレイテンシがトレードオフの関係にあり、非常に大規模な HPC/GPU 環境ではこれがボトルネックになりうる。代替として Dragonfly+ のような非 Clos トポロジと Adaptive Routing(Minimal と Non-minimal を同時利用する UGAL 的アプローチ)が検討されている(p.30, 32-33, 35)。 ## 視覚的に重要な図表 **p.2 ネットワークを進化させるキーファクター** ![[_attachments/cloud-data-center-network-2026/page-002.png]] Computing Innovation(分散機械学習、AI Chip高速化)と Storage Innovation(分散ストレージ、NVMe/PMEM)がそれぞれ Networking Innovation に進化圧をかける構図を示す。 **p.7 これからのコンピューティングとデータセンター(Web Scale Fabric / Scheduled Fabric)** ![[_attachments/cloud-data-center-network-2026/page-007.png]] Distributed & Disaggregated Computing の完成形として、Web Scale Fabric(Frontend Network、緑)と Scheduled Fabric AI/ML(Backend Network、紺)がそれぞれ独立したファブリックとして NIC から分岐する様子を示す。 **p.11 Datacenter Arch Evolution(HotChips34 Tesla基調講演からの引用)** ![[_attachments/cloud-data-center-network-2026/page-011.png]] HPC/CPU Centric(Internet Optimized、高レイテンシ許容・低帯域)と AI Centric(Rack-Rack Optimized、低レイテンシ・高帯域)という2つのアーキテクチャ思想の対比を、Tesla の HotChips34 基調講演 "Beyond Compute" の図を引用して示す。 **p.19 Web Scale Networkの課題(Non-scheduled Fabric)** ![[_attachments/cloud-data-center-network-2026/page-019.png]] Compute/Storage/AI-MLの各ワークロードが同一の非スケジュールドファブリックを共有すると特定のキューが競合する問題を、赤い衝突マークで視覚化する。 **p.24 現在採用しているGPU Interconnect Network Topology(Rail Optimized Topology)** ![[_attachments/cloud-data-center-network-2026/page-024.png]] 4台のGPU Serverが8本のLeaf Railに同一HCA番号ごとに接続され、同じHCA/NICは常に同じLeaf switchへ接続される配線パターンを示す。 **p.33 Dragonfly+ Topology(3サイズのバリエーション)** ![[_attachments/cloud-data-center-network-2026/page-033.png]] Largest-size(グループ間1リンク)・Medium-size(スパインルータが他グループに1リンク)・Small-size(複数並列リンク)の3種類のDragonfly+トポロジと、そのパラメータ関係式($p=l=s=h$、$Ngroup=pl=(k^2)/4$)を示す。 ## 口頭説明・補足 本資料には音声/動画が付随しておらず、transcript は取得していない。口頭説明由来の情報は本ページに含まれない。 ## Q&A 最終ページ(p.37)は「率直にみなさんどうしてますか?」という参加者への問いかけのみで、議論内容自体はスライドに記録されていない。 ## 概念・実体への接続 - 概念: [[RDMA]] / [[RoCE設計課題]] / [[Dragonflyトポロジ]] / [[マルチプレーンClosトポロジ]] - 実体: [[Masayuki Kobayashi]] ## 限界・不確実点 - p.27(実際のRoCEv2ロスレスチューニング)・p.28(Ethernet Switching ASICの動向)・p.29(400G/800Gbpsの課題)・p.33直前のp.34(Dragonfly+ Topology検証環境)の4ページ相当は「非公開」として本文が灰色ボックスで伏せられており、内容は不明。見出しのみ判読可能。 - タイトルスライド(p.1)には発表者名「Masayuki Kobayashi」のみが記載され、所属・肩書は明記されていない。所属は SpeakerDeck 公式ページにも記載がなく、[[Masayuki Kobayashi]] entity の既存記述(2024年資料を根拠に「LINEヤフー在籍時の肩書は…Staff Engineer」とする記述)と本スライドのタイトルページの実際の記載内容が一致しないため、entity 側に矛盾 callout を付記した。 - 発表イベント名は「AI/ML/HPCネットワーク分科会」とタイトルスライドに記載されるのみで、主催団体・開催規模は資料内から特定できない。