> [!abstract] 概要(Abstract 日本語訳) > RDMAデータセンターは、AI訓練・推論や分散ストレージといった新興ワークロードの需要に応えるために急増している。この傾向は重大な知識ギャップを生んだ——これらのネットワークにおける輻輳のトラフィック特性が未知のままなのだ。例えば、ネットワークのどの層が最も輻輳しているのか、ネットワークが効果的に負荷分散されているのか、輻輳イベントがどれだけ持続するのか、既存のテレメトリシステムが輻輳をどれだけ正確に捉えられているのか、我々は知らない。本論文は、分散AI訓練専用の大規模RDMAデータセンターにおける輻輳を調査することでこのギャップを埋める。我々は3つの具体的な輻輳パターンへの洞察を提供する:(a) ネットワーク内の位置と分布、(b) バースト性(例: バーストの持続時間と同期性)、(c) 既存テレメトリ手法による観測可能性。例えば、RDMAネットワークにおけるPriority Flow Control(PFC)の展開が、輻輳の位置を一段上へシフトさせたことを示す——レガシーなTCP/IPデータセンターにおけるエッジホストから、RDMAデータセンターにおけるネットワークコアへ。同時に、同じプロトコルによって我々が輻輳を、バースト性の高いイベントも含めてより良く観測・理解できるようになることも示す。本研究の知見は、RDMAネットワークにおける輻輳の測定・特性把握・管理に関する未解決の課題を明らかにし、今後の研究への道を拓く。 ## 論文情報 - タイトル: Congestion Patterns in a Large-scale RDMA Datacenter - 著者: Soudeh Ghorbani([[Meta]] / [[Johns Hopkins University]])、Yimeng Zhao([[Meta]])、Srikanth Sundaresan([[Meta]])、Ying Zhang([[Meta]])、Yijing Zeng([[Meta]])、Abhigyan Sharma([[Meta]])、Prashanth Kannan([[Meta]])、Cristian Lumezanu([[Meta]]) - 媒体: ACM Internet Measurement Conference(IMC '25)、2025年10月28〜31日、Madison, WI, USA。pp. 944–951(8ページ) - DOI: https://doi.org/10.1145/3730567.3764494(ACM ISBN 979-8-4007-1860-1/2025/10、CC BY 4.0) - arXiv版・コード公開: 確認できず(本文・書誌情報に記載なし) ## 概要 Meta の分散AI訓練専用RDMAデータセンターにおける本番輻輳パターンの実測研究。ToRスイッチの`switchos`(分単位カウンタ)とホスト常駐の`finecounters`(ミリ秒級サンプリング)という2つのテレメトリ系統を用い、位置・分布/バースト性/観測可能性の3軸で輻輳を特徴づける。中心的な発見は、PFCの導入によって輻輳箇所がTCP/IPデータセンターの「エッジが最も輻輳する」という定説からRDMAデータセンターの「コアが最も輻輳する」へシフトしたことである。 ## 問題設定 - 入力: 4つのAIゾーン(各ゾーンは数百台のGPUサーバーからなる)における、`switchos`が収集する分単位のリンク負荷・PFC一時停止フレームカウンタ(2024年の2つの2週間期間)、および`finecounters`がゾーンA・ゾーンBの2ゾーンで収集するホスト単位の4.8ms間隔トラフィックサンプル。 - 出力: (1) ネットワーク層(host→ToR、ToR→spine、spine→ToR、ToR→host)ごとの輻輳位置・分布の特徴づけ、(2) バーストの頻度・長さ・同期性の定量化、(3) 粗粒度カウンタ(PFC一時停止数・平均トラフィックレート)によるバースト観測可能性の評価。 - 前提: 非過剰契約(non-oversubscribed)の2階層leaf-spineトポロジ("zone")、RoCEv2上のRDMA、PFCによるロスレスファブリック、ECMPハッシュ+QPスケーリング+ハードウェアフローレットスイッチングによる負荷分散、輻輳制御はDCQCNを無効化しNCCLの受信側駆動CTS(Clear-to-Send)を使用。 ## 提案手法(測定手法) - **ネットワークトポロジと計装点**: 各ゾーンは非過剰契約の2階層leaf-spineネットワークで、複数のスパインスイッチが全ToRスイッチのトラフィックを集約する。各ToRは2台のホスト(各8 GPU、200 Gbps/400 Gbps RNIC)に接続する。ToRスイッチはhost→ToR、ToR→spine、spine→ToR、ToR→hostという4つの重要なホップ全てを見渡せる戦略的な観測点になる(下図)。 **Figure 1: leaf-spineトポロジにおけるToRの観測点** ![[_attachments/Congestion_Patterns_Large_scale_RDMA/fig01-topology.png]] (Figure 1. leaf-spineトポロジにおけるToRの戦略的な観測点。送信元ホストSから受信先ホストDまでのパスは、host→ToR・ToR→spine・spine→ToR・ToR→hostの4ホップを通過し、ToRスイッチはこの全4ホップを可視化できる。Source: 論文 Figure 1。) - **プロトコルスタック**: RDMA over RoCEv2でRDMAを実現する。ロスレスファブリックを提供するため、リンク層のPFC(Priority Flow Control)を展開し、受信側バッファが容量に近づくと送信側へPause frameを発行して一時的に送信を止める。PFCの副作用(パケット蓄積の上流伝播による"PFCストーム")を緩和するため、スパイン層スイッチには比較的深く静的に割り当てたポートごとのバッファを設定している。負荷分散にはデフォルトの5-tuple ECMPハッシュに加え、低エントロピー時のハッシュ衝突を減らすQPスケーリングとハードウェアフローレットスイッチングを併用する。輻輳制御は、400 Gbpsでスループット低下を招くためDCQCNを無効化し、代わりにNCCLの受信側駆動CTS(Clear-to-Send)機構に依存する。 - **ワークロードと集合通信**: DDP(Distributed Data Parallel)とFSDP(Fully Sharded Data Parallel)を主とする並列化戦略を使う。AllReduce・AllToAll(v)・AllGather・ReduceScatterが混在比率を変えながら支配的トラフィックとなる。AllReduceはring/tree構造で同時フロー数を制限するが、AllToAll(v)は直接的な点対点交換でホストNICのingress側にfan-in/outが集中しホットスポットを作る。トランスポート層のペーシングがない場合、受信側NICが上流のToRに向けてPFC一時停止フレームを発行し、輻輳シグナルがファブリックへ伝播する。NCCLのCTS機構が送信側をペーシングし、host駆動のPFCを減らして観測可能な輻輳をネットワークコアへシフトさせる。 - **測定手法**: (a) リンク負荷 — 各スイッチポートの分単位バイトカウンタ差分をGbps換算((Δbytes × 8)/60s)。(b) 一時停止フレーム — 同じポート・区間でのPFC pause-frameカウント(`switchos`経由)。(c) ホストバースト — ホストごとに4.8ms間隔で1,024サンプル/回収集(`finecounters`)。 - **テレメトリシステム**: `switchos`はToRスイッチ上で動作し、標準Linux上でPFC一時停止パケット・ポートごとの送信レートなどのトラフィック統計を分単位で収集し、中央データストアへ1〜5分間隔でエクスポートする。ASIC影響は無視できる規模で、スイッチCPUオーバーヘッドは0.1%未満。`finecounters`はホスト常駐のマイクロ秒級測定ツールで、サンプリング間隔をNICの割り込み合体(interrupt-coalescing)ウィンドウに合わせた4.8msに固定し、大半のバーストを捕捉するようキャリブレーションされている。 ## 新規性 先行研究([18] [[2024__SIGCOMM__RDMA over Ethernet for Distributed Training at Meta Scale|Meta RoCEファブリック論文]]、[40] [[Alibaba HPN]])は大規模RDMAファブリックのアーキテクチャ・運用経験を報告するが、ネットワーク内の細粒度輻輳測定(PFC一時停止フレームの動的挙動やミリ秒級バースト同期)は報告していない。[18]はジョブサイズ・メッセージサイズ分布などホストレベル指標に留まり、[40]はトポロジレベルの輻輳回避設計に基づくエンドツーエンド帯域向上のみを報告する。本論文は、トポロジ層・時間スケール・ワークロードを横断した、本番RDMA AIクラスタにおける**初のネットワーク内輻輳測定研究**であると位置づける。また、TCP/IPデータセンター測定([10][11][31][41][50])が「粗粒度カウンタは短いバーストを捉えられない」ことを強調してきたのに対し、本論文は「粗粒度(分単位)のPFC一時停止カウンタが、負荷不均衡に起因するバースト頻度を定量化する助けになる」という、測定手法の種類と時間粒度という新しい設計軸を追加する。 ## 実験設定 - 環境: 本番AI訓練専用データセンター内の4つのランダム選択ゾーン(各ゾーンは数百台のGPUサーバー)。2024年の2つの独立した2週間期間で測定。 - データセット: `switchos`による分単位のリンク負荷・PFC一時停止フレームカウンタ(全4層×全ポート)、`finecounters`によるゾーンA・ゾーンBのホスト単位4.8ms間隔サンプル(1回のラン500ms・1,024サンプル)。 - 比較対象: 先行のTCP/IPデータセンター測定研究([10][11][31][41][50]、Google[43]・Facebook[50]を含む)との定性比較。RDMA領域の先行研究[18](Meta RoCEv2ファブリック)・[40](Alibaba HPN)とは方法論(シミュレーション/テストベッド vs 本番測定)で対比。 - 評価指標: PFC一時停止フレーム発生率(per sec)、正規化トラフィックレート、バースト数(median/90th percentile)、バースト長(ms)、同期バースト数(per host / per rack)のCDF。バーストは「連続する1つ以上のデータ点がライン速度の50%を超える」区間として定義。 ## 実験結果 - **トラフィックはラックローカルでない**: ホスト-ToR間とspine-ToR間の平均トラフィックレートの差はランダム選択ゾーンで約16%に留まり、コア層とエッジ層がほぼ同等の量のトラフィックを運ぶ。TCP/IPデータセンターで報告される強いラックローカリティ([41])とは対照的。 **Figure 2: エッジとコアのトラフィックレート** ![[_attachments/Congestion_Patterns_Large_scale_RDMA/fig02-traffic-rate-edge-core.png]] (Figure 2. 従来型データセンターではトラフィックが大部分ラックローカルであるのに対し、本RDMAファブリックはエッジ(ToRs-hosts)とコア(spines-ToRs)でほぼ同等のトラフィックを運ぶ。Source: 論文 Figure 2。) - **最も輻輳する層はToR→spine**: 全測定ゾーンで、ToR→spine層が他の全層を合計したよりも多くのPFC一時停止フレームを送信する。あるゾーンではToR層が平均10万pause/sec超をspine層へ送信するのに対し、2番目に輻輳するhost→ToR層は平均1,000pause/sec未満であり、2桁の差がある。これはGoogle[43]・Facebook[50]が報告する「最終ホップ(宛先ToR→宛先host)が最も輻輳する」というTCP/IPデータセンターの知見と異なる。原因は、複数送信ホストが同時に単一受信ホストへ送るインキャスト的バーストが宛先ToRでバッファ蓄積を引き起こし、PFCが最終ホップでのパケットロスは防ぐものの、宛先ToRからspine層へ大量のpause frameを発生させるためである。 **Figure 3: PFC一時停止フレームの層別・リンク別分布** ![[_attachments/Congestion_Patterns_Large_scale_RDMA/fig03-pfc-pause-distribution.png]] (Figure 3. 左: PFC一時停止フレームはToR→spineリンクに集中する。中央: 同層内でも不均一に分布する(8リンク中4本が平均1.8Kpause/sec超、別4本が100pause/sec未満)。右: 一方で分単位の平均トラフィックレートは同じリンク間でおおむね均衡している(最も高利用なリンクでも最低利用リンクの12%増に留まる)。Source: 論文 Figure 3。) - **スパイン層の負荷は不均一**: 最も高頻度にpause frameを送信するToRを特定し、そのToRに接続する各リンクのpause frame頻度を調べたところ、負荷はスパインスイッチ間で均等に分散していない。同一ゾーンにおいて、8本のインターフェースのうち4本は平均1.8Kpause/sec超を、別の4本は100pause/sec未満を送信する。最大スイッチバッファ占有率もスパイン層での不均衡を示す。 - **バーストは頻発かつ短時間**: トレーニングジョブを持つホストでは、1回のランあたりのバースト数の中央値は3、90パーセンタイルは6。バースト長の中央値はゾーンAで4.8ms、ゾーンBで9.6ms、90パーセンタイル長はゾーンBで30ms超。 **Figure 4: バースト数・バースト長・同期バースト数のCDF** ![[_attachments/Congestion_Patterns_Large_scale_RDMA/fig04-burst-count-length-sync.png]] (Figure 4. 左: バースト数(ゾーンAの中央値3、90パーセンタイル6)。中央: バースト長(ゾーンA中央値4.8ms、ゾーンB中央値9.6ms、ゾーンB 90パーセンタイル30ms超)。右: 同期バースト数(ホスト単位・ラック単位のCDF)。Source: 論文 Figure 4。) - **同期バーストは珍しくない**: 1つのToRから配下の複数ホストへ同時にバーストが送られる現象(バースト同期)が頻繁に観測される。ゾーンAではホストの13%、ゾーンBでは53%のホストで、複数インターフェース(1ホスト8 RNIC)にまたがる同期バーストが確認された。ラック単位(1ラック2台×8 RNIC=16の組)でも、ゾーンAのラックの10%で同期レベルが12を超える高い同期性を示す。 - **観測可能性: 粗粒度カウンタでもバースト性を検知できる**: §3.2で不均一と分かったPFC一時停止カウンタに対し、同じリンクの分単位平均トラフィックレートは相対的に均衡している(最も高利用なリンクでも最低利用リンクの12%増程度)。この乖離は、短いバーストが並列パスに均等に分散できないために生じる——PFC一時停止頻度はコアToR-spineリンク間で異なる(バーストがPFC一時停止閾値を超えるほど強い場合)一方、分単位の平均アップリンクレートは短時間の変動を均してしまうため粗い。この結果、PFC一時停止カウント・最大スイッチキュー占有率のような粗粒度(分単位)指標が、平均トラフィックレートのような同じ分単位頻度で報告される他の一般的指標では見落とされうるバースト性を効果的に捉えられることを示す。 **Figure 5: PFC一時停止フレームの分布とトラフィックレートの一貫性(付録・別ゾーン検証)** ![[_attachments/Congestion_Patterns_Large_scale_RDMA/fig05-pfc-consistency-across-time.png]] (Figure 5. 上: あるAIゾーンにおけるネットワーク層別のPFC一時停止フレーム分布。中央: 高頻度ToRに接続するアップリンク間でのPFC一時停止フレーム分布。下: 同じアップリンク上の分単位平均トラフィックレート。別ゾーン・別2週間期間でも本文で報告したパターンと近い挙動を示し、時間・ゾーンを跨いだ一貫性を裏付ける。Source: 論文 Figure 5(付録§7.2)。) **Figure 6: ミリ秒粒度のバースト性** ![[_attachments/Congestion_Patterns_Large_scale_RDMA/fig06-millisecond-burstiness.png]] (Figure 6. 代表的な1つのNICについて、正規化された受信レートがミリ秒スケールで急峻に立ち上がり・落ち込みを繰り返す様子を示す。RDMAトラフィックがミリ秒粒度でバースト性を持つことを裏付ける(付録§7.4)。Source: 論文 Figure 6。) - **時間・ゾーンをまたいだ一貫性**: 付録§7.2(Figure 5)で、別ゾーン・別2週間期間においても本文で報告したパターンと近い挙動が確認され、これらの傾向が特定期間・特定ゾーンに限らないことを示す。 - **ホットラックは見られない**: 付録§7.3では、5日間の測定で単一ラックが全トラフィックの0.7%を超えて占めることはなく、より細かい1分間隔でも最大1.9%に留まった。TCP/IPデータセンターで報告される"hot racks"([30])とは異なり、ToR間の負荷は比較的均等に分散している。 ## 考察 - **輻輳制御・負荷分散への含意**: RDMAネットワーク特有の、バースト耐性の高い高速な輻輳制御・負荷分散設計が必要である。ハードウェア実装のRDMA NICはソフトウェアベースのバースト対策(TCP pacingやqdiscなど)に馴染まないため、TCP/IPデータセンターのバースト緩和策をそのまま転用しづらい。 - **テレメトリシステムへの含意**: 既存研究は微小バースト捕捉に高分解能テレメトリ(マイクロ秒級カウンタ)の必要性を強調してきたが、本研究は「指標の種類」(PFC一時停止カウントや最大キュー占有率のような閾値ベース指標)が「時間粒度」と並ぶもう一つの設計軸であることを示す——同じ分単位の頻度でも指標の選び方によって捕捉できる情報が変わる。 - **新しいネットワークアーキテクチャへの含意**: TCP/IPデータセンター向けに輻輳根絶を目指す最近のアーキテクチャ([4][5][9][16][30][38])に対し、本論文の測定・分析は次世代RDMAベースデータセンターの設計を支える一次資料となりうる。 - **限界と妥当性への脅威**: 4.8ms以上のバーストしか捕捉できず(それより短いスパイクは過小サンプリングの可能性)、分単位のスイッチカウンタは分未満のダイナミクスを覆い隠しうる。測定は非過剰契約leaf-spine "zone" における2つの離散2週間期間に限定され、結果は特定のトポロジ・負荷分散・PFC+CTS輻輳制御スタック(§2)に依存するため、別のトポロジ・パス選択方式・トランスポートスタックでは異なる可能性がある。さらに、分単位のバイト・PFCカウンタしかポート単位で持たず、4.8msのホスト側サンプリングはそれらのポートに紐付けられないため、持続的負荷とPFC活動の一対一相関の算出やワークロード別影響の分離はできない。エンドツーエンド性能影響分析は本研究の範囲外で、進行中の別研究として位置づけられる。 ## 強み / 弱点・課題 **強み** - 本番大規模RDMA AIクラスタにおける、トポロジ層・時間スケール・ワークロードを横断する初のネットワーク内輻輳測定研究である。 - 分単位の`switchos`とミリ秒級の`finecounters`という2系統のテレメトリを組み合わせ、粗粒度指標でもバースト性を捉えられるという反直感的な知見を実データで裏付けている。 - 別ゾーン・別期間での再現性検証(付録§7.2)を含み、結果の一貫性を示している。 **弱点・課題** - 4.8ms未満の短いスパイクは捕捉できない可能性があり、分単位カウンタは分未満のダイナミクスを覆い隠す。 - 特定のトポロジ・PFC+CTS輻輳制御スタックに依存した結果であり、他のトポロジ・輻輳制御方式への一般化可能性は未検証。 - ポート単位の分単位カウンタとホスト側4.8msサンプリングが紐付けられないため、持続的負荷とPFC活動の因果的な一対一相関やワークロード別の影響分離ができない。 - エンドツーエンドの性能影響(ジョブ完了時間・MFU低下など)への定量的な結びつけは進行中の別研究とされ、本論文自体では扱われていない。