# Ring AllReduce ## 定義 Ring AllReduce は、分散学習における勾配・パラメータ同期を、デバイスを論理的な環(リング)に並べて実行する集団通信アルゴリズムである。各デバイスは左隣からデータチャンクを受け取り、局所的に持つチャンクと縮約(reduce)した結果を右隣へ送るという操作を N−1 ラウンド繰り返す ReduceScatter フェーズと、縮約済みチャンクを全デバイスへ伝播する AllGather フェーズの 2 段で構成される。NCCL 等の集団通信ライブラリは、大メッセージに対して(1) メッセージサイズに対しほぼ線形にスループットが伸びる、(2) 冗長なデータ移動が最小、(3) 不均一なリンク帯域幅にも適応できるという理由から、既定でリング型を採用する。(Source: [[@2026__TACO__BridgedRing - A Cost-Effective Hardware-Software Co-Design to Overcome the UPI Bottleneck in GPU Servers]]) ## 未解決の問い - リング上の最も遅いリンク 1 本が全体のスループットを支配するという性質は、ツリー型・ダブルバイナリツリー型など他の集団通信トポロジーと比べてどの程度深刻か。トポロジー別の律速リンクへの感度を横断比較した観察はまだ無い。 - ハードウェアトポロジーが非対称(一部のノード対だけ高帯域リンクを持つ)な場合、標準的なリング構成の近傍割り当てをアルゴリズム側で再構成する一般的な設計指針は何か。 ## 未編纂の観察 - **デュアルソケット GPU サーバーでリング型集団通信を素朴に適用すると、クロス NUMA リンク(UPI)を経由する双方向トラフィックが同時発生し、輻輳によって実効帯域が物理帯域を大きく下回る**。[[@2026__TACO__BridgedRing - A Cost-Effective Hardware-Software Co-Design to Overcome the UPI Bottleneck in GPU Servers]] は、8-GPU デュアルソケット構成での 256 MB メッセージの Ring AllReduce が 13.0 GB/s に留まり、UPI の物理帯域(22.9 GB/s)や測定された cross-NUMA P2P 帯域(17.2 GB/s)のいずれよりも低いことを実測した。著者らはこれを、双方向効率が NUMA 内 79.4% に対しクロス NUMA では 66.5% まで低下する現象として定式化している。(Source: [[@2026__TACO__BridgedRing - A Cost-Effective Hardware-Software Co-Design to Overcome the UPI Bottleneck in GPU Servers]]) - **リングの周回依存性(N GPU のハミルトン閉路は必ず 2 本のクロスパーティションエッジを含む)は、高帯域バイパスを 1 本追加するだけでは解消しない構造的制約である**。GPU 3–GPU 4 間に NVLink Bridge を追加しても、標準リングは片方向のみ NVLink を使い、逆方向は依然 UPI を経由するため、Ring AllReduce の速度向上はわずか 13.0→15.2 GB/s に留まった。GPU はネットワークルーターのような自律転送機能を持たないため、リング近傍の再割り当てというアルゴリズム側の変更なしにこの制約を解消できない。(Source: [[@2026__TACO__BridgedRing - A Cost-Effective Hardware-Software Co-Design to Overcome the UPI Bottleneck in GPU Servers]]) - **周回依存性の制約は、topology-aware なスケジュール探索(TCCL 等)でも解消できず、標準的なリング集団通信の意味論を保ったままではハードウェアの物理帯域が上限になる**。TCCL の探索的スケジューラは 4-GPU クロス NUMA 構成で AllGather 16.64 GB/s を達成するが、これは NUMA 内実行(20.92 GB/s)より 20.5% 遅く、最適スケジュールでも UPI を 1 ホップは経由せざるを得ないと報告されている。(Source: [[@2026__TACO__BridgedRing - A Cost-Effective Hardware-Software Co-Design to Overcome the UPI Bottleneck in GPU Servers]]) ## 関連 - [[NCCL]] — Ring AllReduce を含む集団通信アルゴリズムを実装する代表的ライブラリ。 - [[NVLink]] — リングの一部区間を高帯域化するためのハードウェアバイパスとして利用される。 - [[非対称NUMAインターコネクト]] — リング型集団通信がクロス NUMA 区間で直面する帯域非対称性の一般化された概念。 ## 出典 - [[@2026__TACO__BridgedRing - A Cost-Effective Hardware-Software Co-Design to Overcome the UPI Bottleneck in GPU Servers]](§2.3 Ring-Based Collective Algorithms、§3.2〜3.4 UPI Wall の理論・実測分析)