# マルチプレーンGPUネットワークを実現するシャッフルアーキテクチャの整理と考察 Navigation: [[../index|index]] | [[../overview|overview]] > [!note] 出典と確度 > 本資料は Masayuki Kobayashi(markunet)氏が Interconnect Architecture SIG(2026年3月9日発表、2026年3月7日デッキ公開)向けにまとめた社内アーキテクチャ検討資料である。全39ページを画像で確認した。1.6T NIC の shuffle 実装(PoC)を扱う p.25 は「公開不可(関係者限り)」として内容が非公開のまま配布されており、本ページでもその旨のみ記録する。 ## 概要 800G/1.6T級NICを用いた大規模GPUクラスタのマルチプレーンネットワーク実現に必要な「シャッフル(Shuffle)」配線技術を、基礎原理・物理配線実装・Fate Sharingとのトレードオフの3層で整理した社内検討資料。Shuffleは単なるbreakout cableではなく、server-majorの東(サーバ側の並び)をplane-majorの束(スイッチ側でプレーンごとに集約した並び)へ組み替える"lane re-map"であるという定義から出発し、Shuffle Cable・Shuffle Box・CPOスイッチ内蔵Shuffleの3実装方式を運用観点で比較する。 ## 主要メッセージ - High-Radixスイッチによるファンアウトでネットワークのマルチプレーン化が可能になった一方、問題は「論理トポロジ」より「それをどう物理配線で実装するか」に帰着する(p.4)。 - マルチプレーンネットワークの本質はNIC側にある。トラフィックを複数planeに"spray"する機能・受信側での集約再整列・プレーン障害時の自動シフトはNICハードウェアと通信ライブラリのサポートが必須で、本資料はスコープ外としている(p.9)。 - 800G NICのMAC/PCS/opticsが独立4リンクとして終端されていなければ、Shuffle Cable/Boxで配線を分けても通信は成立しない(p.13)。受動的なシャッフル配線は「独立リンクとして扱われている」ことが前提条件になる。 - 用語整理(p.12): Shuffle Architecture(物理配線アーキテクチャ全体)、Shuffle Cable(ケーブル内部remap)、Shuffle Box(box/カセット内部remap)、Structured Cabling(panel/trunk/patchでの構造化配線管理)、Polarity(Tx/Rxとfiber positionのend-to-end整合)、Fate Sharing(共通故障点により一緒に落ちる関係)、Slice(breakout後のlower-rate接続片)、Plane(独立した通信面/failure domain)。 ## 視覚的に重要な図表 **p.8 マルチプレーンネットワークの構成(Fabric Plane分散)** ![[_attachments/multi-plane-gpu-network-shuffle-architecture/page-008.png]] 800G NICの各ポートをlaneごとに4つの独立したFabric Planeへ接続する例。サーバのNICごとにプレーンを分けるのではなく、各NICのポートをlane単位で分散させる点がRail-Optimized Topologyとの根本的な違いとして強調される。 **p.11 Shuffle Architectureの本質(server-major → plane-major変換)** ![[_attachments/multi-plane-gpu-network-shuffle-architecture/page-011.png]] Shuffle前の入力側では各サーバの各NICからPlane 1〜4が横並びで出てくる(server-major)。switch側では同じPlaneを同じポート群に収容したいため、Server/NIC/Planeの対応を保ったまま横並びを縦束に並べ替える(plane-major)のがshuffle re-mapの正体であるとする、本資料で最も中心的な図。 **p.13 Shuffleの前提となる光インターフェース** ![[_attachments/multi-plane-gpu-network-shuffle-architecture/page-013.png]] 800G Opticsが4リンクを独立終端していない構成(左)ではP1〜P4に配線を分けても通信不成立、4x200G Opticsとして各リンクをMAC終端した構成(右)で初めて通信が成立することを示す。OSから1ポートに見える受動的なShuffle Cable/Boxだけでは通常のEthernet通信を成立させられない、という前提条件を可視化している。 **p.17 800G NICのshuffle実装例(Oracle)** ![[_attachments/multi-plane-gpu-network-shuffle-architecture/page-017.png]] Oracle Acceleron Multiplanar Networking Architectureの図(画像引用元: First Principles: Oracle Acceleron Multiplanar Networking Architecture, blogs.oracle.com)を引用し、800G NICを4×200Gに分岐して4 planeのswitchへ入れる実装をGPU Tray/Router間のShuffle Cableとして図解する。switch側も800G portを4×200G breakoutするため、両端のbreakoutを成立させるためにshuffleが必要になる、という一般原理の実例として提示される。 **p.27 Shuffle Cable / Shuffle Box / CPOスイッチ内蔵Shuffleの比較表** ![[_attachments/multi-plane-gpu-network-shuffle-architecture/page-027.png]] re-mapを行う場所・主な目的・典型的な適用範囲・構成変更のしやすさ・追加接続点・挿入損失への影響・施工/展開・運用上の見えやすさ・スケール時の利点・主な弱点・代表的に向く場面の11観点で3方式を比較する表。Shuffle Cableは施工が速く再現性が高いが後からmappingを変えにくく、Shuffle Boxは変更管理に強いが挿入損失で不利、CPOスイッチ内蔵Shuffleは超高密度実装で有効だがユーザーが内部mappingを直接制御しにくい、という三すくみのトレードオフを整理する。 **p.31 Fate Sharingと設計上の注意点** ![[_attachments/multi-plane-gpu-network-shuffle-architecture/page-031.png]] 4つのFabric Planeに200G linkとして分散接続しても、その入口となる4x200G Opticsおよび800G NIC自体が単一の故障点として残ることを示す図。プレーン分散によりファブリックプレーン側のFate Sharingは減るが、host port起点の共通故障点は消えない、という本資料の中心的な考察を裏付ける。 ## Shuffle実装パターンの整理(p.15-25) - **基本的な400G 4×4 Shuffle**(p.15): 1本の400G(4×100G)MPO12を4方向へ1 laneずつ分散し、port-major→plane-majorへ転置する。画像引用元はCorning Optical Communications「Shuffling Solutions for AI/ML-GPU Clusters and Modern Data Centers」のFigure 1。 - **400G 2×2 Shuffle**(p.16): 4×100Gを2×(2×100G)にまとめて2方向へ分散し、200G単位で扱うことで4×4より接続数を抑えられる(同Figure 2)。 - **800G NIC→4×200G**(p.18-20): 100G/laneから200G/laneに変わっただけの構成だが、スイッチ側・サーバ側両方が4-way breakoutすると現場でのクロス配線を避けるため工場定義済みのShuffle Cableが必要になる。高密度コネクタは物理的に多くのファイバを束ねるが、logical channelの並びと物理コネクタの並びは一致しないため、shufflingが必要という一般原理が改めて説明される。 - **実クラスタでの構成例(Elpis Cluster - 202601)**(p.22-24): 4サーバ×8 NIC×4 Planeの構成を、server-major(左)からplane-major(右、SW1〜SW4がPlane 1〜4を受信)へ変換するマッピング図と、Shuffle Boxを中心に置いたQuad-Plane Architectureの結線図で示す。実クラスタでの適用例として、p.11の抽象図をより大規模なNIC/サーバ数で具体化したものである。 - **1.6T NICの shuffle実装(PoC)**(p.25): 1.6T NICを8×200Gに分岐しOctal-Planeを構成し、CPOスイッチ内蔵Shuffle Boxでの構成が現実的な規模になるとされるが、スライド本文は「公開不可(関係者限り)」として内容が伏せられている。 ## 概念・実体への接続 - [[マルチプレーンClosトポロジ]]: 本資料が示す2x400G(Dual-Plane)/4x200G(Quad-Plane)/8x100G(Octal-Plane)というプレーン数の選択肢は、既存 concept が [[@2026__arXiv__Resilient AI Supercomputer Networking using MRC and SRv6]] Table 1 から得ていた「4プレーン vs 8プレーン」のトレードオフ観察を、NIC breakoutの物理的な選択肢という別角度から裏付ける。 - [[光ファイバーシャフル配線]]: 本資料はJANOG58が示した「シャフルBOX/シャフルアッセンブリ」の2分類を、Shuffle Cable/Shuffle Box/CPOスイッチ内蔵Shuffleの3方式・11観点比較へと精緻化する。Fate Sharingの明示的な定義とNIC起点の共通故障点という論点も新規に追加する。 - [[Masayuki Kobayashi]]: 著者。同一著者による [[@2026__SpeakerDeck__AIインフラの最新技術動向 2026 — 中国OCPコミュニティから読み解く6つの技術トレンド]] に続く2件目のwiki取り込みソース。 - [[Corning Optical Communications]] / [[Oracle]]: 主要図表の引用元。 ## 限界・不確実点 - p.25(1.6T NICのshuffle PoC)は「公開不可(関係者限り)」であり、具体的な配線構成・実測値は本ページに記載できない。 - 発表日は登壇者ページの構造化データ(`datePublished: 2026-03-07`)およびタイトルスライド記載の「2026/3/9 Interconnect Architecture SIG」の両方から確認できたが、Interconnect Architecture SIGという発表体そのものの主催組織・公開範囲(社内限定か否か)はスライド内に明記がなく確認できていない。 - 音声/動画は提供されておらず、口頭説明・質疑応答の内容は本ページに含まれていない。 - p.27比較表・p.33画像(CPOスイッチ写真、原本がミラー反転表示)はスライド上でも文字が小さく、細部の数値的根拠(挿入損失の具体的dB値など)は示されていない。