# Dragonflyトポロジ Navigation: [[concepts/_index]] ## 定義 Dragonfly トポロジは、複数のハイラジックスルータをグループとして束ね、グループ全体を「仮想ルータ」として機能させる階層型インターコネクトネットワークトポロジである。[[John Kim]]・[[William J. Dally]]・[[Steve Scott]]・[[Dennis Abts]] が ISCA 2008 で提案し（[[@2008__ISCA__Technology-Driven, Highly-Scalable Dragonfly Topology]]）、IEEE Micro 2009（[[@2009__IEEE-Micro__Cost-Efficient Dragonfly Topology for Large-Scale Systems]]）で短縮版として再提示した。 ネットワークは 3 層で構成される。(1) **ルータ層**: 各ルータが $p$ 本の端末チャネル・$(a-1)$ 本のローカルチャネル・$h$ 本のグローバルチャネルを持ち、ラジックス $k = p + a + h - 1$。(2) **グループ層**: $a$ 台のルータが完全接続されたイントラグループネットワーク(仮想ルータ)で、実効ラジックスは $k' = a(p+h)$。(3) **システム層**: 最大 $g = ah + 1$ 個のグループが接続される。 この設計の核心は「最小ルーティング時に各パケットが通過するグローバルチャネルを最大 1 本に抑える」ことである。グローバルチャネル本数の削減がネットワークコスト削減に直結する。(Source: [[@2008__ISCA__Technology-Driven, Highly-Scalable Dragonfly Topology]]) ## 横断的知見 - **技術動向主導の設計**: ISCA 2008 と IEEE Micro 2009 の両論文は「トポロジは技術が決定する」という主張を一貫して強調する。1980〜90 年代の低ピン帯域幅環境では 2D/3D トーラスが最適だったが、5 年ごとに 1 桁増えるピン帯域幅と能動光ケーブルの経済化が、Dragonfly のような高コスト・ハイラジックストポロジを初めて実用化した。(Source: [[@2008__ISCA__Technology-Driven, Highly-Scalable Dragonfly Topology]], [[@2009__IEEE-Micro__Cost-Efficient Dragonfly Topology for Large-Scale Systems]]) - **仮想ルータ概念の普遍性**: グループを仮想ルータとして扱うアイデアは、単一ルータのラジックス限界を超えてスケールする一般的な方法論であり、個別の実装に依存しない。IEEE Micro 版はこの原理が今後の大規模システム全般（HPC・データセンター・インターネットルータ）に適用可能と位置づける。(Source: [[@2009__IEEE-Micro__Cost-Efficient Dragonfly Topology for Large-Scale Systems]]) - **コスト削減の前提条件**: 2 論文を照合すると、コスト削減の大きさはスケールに強く依存する。16K ノード以上で折り畳み Clos 比 52% 削減・フラット化バタフライ比 20% 削減・3D トーラス比最大 60% 削減が成立する。小規模では優位性が薄い。(Source: [[@2008__ISCA__Technology-Driven, Highly-Scalable Dragonfly Topology]], [[@2009__IEEE-Micro__Cost-Efficient Dragonfly Topology for Large-Scale Systems]]) - **適応ルーティングなしでは利点が限定的**: IEEE Micro 版は「最小ルーティングのみでは他トポロジに対して有意な優位を持たない。グローバル適応ルーティングの正しい活用が Dragonfly の利点を引き出す鍵である」と明示する。トポロジとルーティングアルゴリズムは不可分な設計問題である。(Source: [[@2009__IEEE-Micro__Cost-Efficient Dragonfly Topology for Large-Scale Systems]]) - **クラウド事業者の実務でも「Clos のレイテンシ対スケールのトレードオフ」が Dragonfly 検討の直接動機になっている**: [[Masayuki Kobayashi]] は2023年6月の発表で、Clos(Indirect Topology)は宛先ノードまでのホップ数増加がレイテンシ増加に直結する「避けられない課題」だとし、「非常に大規模な HPC/GPU 環境で、これらにセンシティブなケースにどう対応するか」という問いのもとで Dragonfly+ Topology(IETF 116 の Routing in Dragonfly Topologies 資料を引用)を検討候補として挙げた。同発表は AI/ML ワークロードでは Infiniband を選ぶ基準の一つに「Fat-tree でないトポロジ(Dragonfly など)を採用する」ことを挙げており、ISCA 2008/IEEE Micro 2009 が理論面で示した Clos 比のコスト削減が、2023年時点で実務者にも AI/ML クラスタ設計の選択肢として認識されていたことを示す。ただし同発表はこれを「検討」の段階として扱い、自社での採用実績までは踏み込んでいない。(Source: [[@2023__SpeakerDeck__クラウドデータセンターネットワークのいまとこれから]], [[@2008__ISCA__Technology-Driven, Highly-Scalable Dragonfly Topology]]) - **2023年の二つの実務資料は、Dragonfly を「検討候補」と「将来課題」に留め、実際の構築では Fat-Tree を選んでいる**: [[@2023__SpeakerDeck__クラウドデータセンターネットワークのいまとこれから]] は Dragonfly+ を Clos のレイテンシ課題への検討候補として挙げ、[[@2023__JANOG52__AI ML基盤の400G DCネットワークを構築した話]] は 400GbE RoCEv2 の実構築に Fat-Tree を採用したうえで、Dragonfly を「次に挑戦したいこと」として挙げている。理論上のコスト・ホップ数の利点が、2023年時点の実運用で直ちに Fat-Tree を置き換える段階には至っていなかったことを示す。(Source: [[@2023__SpeakerDeck__クラウドデータセンターネットワークのいまとこれから]], [[@2023__JANOG52__AI ML基盤の400G DCネットワークを構築した話]]) ## 未解決の問い - Dragonfly の流量制御(フロー制御)と輻輳管理は本番環境でどのように機能するか。特に非均一なトラフィックパターンに対するロバスト性は？ - ラジックス 64 超のルータ（例: ラジックス 128 以上）が利用可能になった場合、最適なグループサイズと端末数はどのようにスケールするか？ - UGAL-CR（クレジット往復レイテンシ）によるバックプレッシャー強化は、ディープバッファ環境とシャローバッファ環境でどの程度の差異を生じるか？ - Dragonfly の派生(Slimmed Dragonfly、Megafly 等)は ISCA 2008 以後どのように展開し、本番 HPC システムへの採用実績はどうか？ - ~~現代の AI 訓練向けインターコネクト（InfiniBand HDR/NDR・RoCEv2）において、Dragonfly は fat-tree 系と比較してどのような位置を占めるか？~~ → 少なくとも一部のクラウド/AIインフラ実務者は、Clos のホップ数増加=レイテンシ増加という制約が問題になる大規模 HPC/GPU 環境の代替として Dragonfly+ を検討候補に挙げている(2023年時点)。ただし本番採用の実例・定量評価は未確認。ECMP や Adaptive Routing(UGAL 的アプローチ)を IP Routing 層で自律分散的に行いたいという課題感も同時に示されており、AI/ML クラスタでの Dragonfly 実用化は Adaptive Routing の成熟度に依存する可能性がある。(Source: [[@2023__SpeakerDeck__クラウドデータセンターネットワークのいまとこれから]]) - 400GbE RoCEv2 で実際に Fat-Tree を採用した構築事例に対し、Dragonfly を採用できる規模・障害対応・運用自動化・Adaptive Routing の成熟条件は何か。([[@2023__JANOG52__AI ML基盤の400G DCネットワークを構築した話]]) ## 関連 - ソース: [[@2008__ISCA__Technology-Driven, Highly-Scalable Dragonfly Topology]] / [[@2009__IEEE-Micro__Cost-Efficient Dragonfly Topology for Large-Scale Systems]] / [[@2023__SpeakerDeck__クラウドデータセンターネットワークのいまとこれから]] - 関連概念: [[マルチプレーンClosトポロジ]] / [[ネットワークトポロジ]] - エンティティ: [[John Kim]] / [[William J. Dally]] / [[Steve Scott]] / [[Dennis Abts]] / [[Cray Inc.]] / [[Northwestern University]] / [[Stanford University]] / [[Masayuki Kobayashi]] - 関連 MOC: [[structures/分散深層学習 - MOC]] ## 出典 - [[@2008__ISCA__Technology-Driven, Highly-Scalable Dragonfly Topology]] — ISCA 2008 原典。詳細な設計・評価・ルーティングアルゴリズム解析を含む。 - [[@2009__IEEE-Micro__Cost-Efficient Dragonfly Topology for Large-Scale Systems]] — IEEE Micro 掲載の 3 ページ短縮版。コスト効率と意義を凝縮して提示。 - [[@2023__SpeakerDeck__クラウドデータセンターネットワークのいまとこれから]] — クラウド事業者実務者が Clos のレイテンシ課題への対処として Dragonfly+ を検討候補に挙げた一次資料。