# The Multipath Reliable Connection (MRC) Transport > [!abstract] 概要(arXiv abstract の日本語訳) > MRCは、ベストエフォート型Ethernet上での大規模AI/ML学習向けに設計された、オープンでプロダクショングレードのトランスポートである。パケット単位のマルチパスと送信者主導の輻輳制御のための明示的で組み合わせ可能なプリミティブによってRoCEv2を拡張し、パケット配送をセマンティック処理から分離し、パケット損失の高速回復のための複数の新機能を追加し、ポートおよび経路の障害に対する耐障害性を追加する。本論文はMRCを提示し、その中核となる能力と機構を詳述する。 ## 論文情報 - タイトル: The Multipath Reliable Connection (MRC) Transport - 著者: Rip Sohan・Eric Spada・Eric Davis・Mark Handley・Idan Burstein・Tony Hurson・Jithin Jose・Vivek Kashyap・Rong Pan・Sayantan Sur ほか計 39 名 - 所属: Advanced Micro Devices Inc・Broadcom Inc・Microsoft Corp・NVIDIA Corp・OpenAI OpCo LLC・Intel Corp の 6 社共著 - 媒体・発表年: arXiv preprint、2026 年 6 月 16 日投稿(cs.NI) - arXiv ID: 2606.18170 - 関連仕様: Open Compute Project (OCP) Multipath Reliable Connection (MRC) Specification, Version 1.0 ## 概要 MRC(Multipath Reliable Connection)は、大規模 AI/ML 学習向けにベストエフォート Ethernet 上で運用される、RoCEv2 Reliable Connection (RC) を拡張したトランスポートである。RC が抱える「単一パス go-back-N 再送」「スケールしない輻輳制御」「リンク・ファブリック障害への脆弱性」という 3 つの構造的な欠陥を、クリーンスレート設計(Ultra Ethernet 等)ではなく RC のセマンティクスとソフトウェアモデルを保持したまま漸進的に拡張することで解消する。すでに本番稼働しているオープン仕様であり、実証的な性能評価はコンパニオン論文("Resilient AI Supercomputer Networking using MRC and SRv6", arXiv:2605.04333, 2026)に譲る。 ## 問題設定 - 前提: 大規模 AI/ML 学習では数千アクセラレータ間の集合通信を低レイテンシ・高 goodput・障害耐性を保ちながら支える必要があり、ネットワークがボトルネックになっている。 - 現行のデファクト標準である RoCEv2 RC は、ハードウェア設計者・ソフトウェア開発者に広く理解されている順序保証付き点対点配送を提供するが、以下の点で大規模学習に不十分である。 1. **単一パス**: RC は接続 5-tuple の ECMP ハッシュで 1 経路に固定され、go-back-N 再送を用いる。 2. **輻輳制御がスケールしない**: PFC ベースの lossless Ethernet や DCQCN は大規模クラスタに適合しない。 3. **障害への脆弱性**: リンク・ファブリック障害に対して極めて脆弱。 - 対して、Ultra Ethernet (UE) のようなクリーンスレート仕様は新規ハードウェア・新規ソフトウェアスタック・長期の相互運用性成熟を要し、大規模導入に時間がかかる。 - MRC は「RC を直接拡張し、既存のセマンティクス・ソフトウェアモデルを保持したまま上記 3 つの欠陥を埋める直交プリミティブ群を追加する」という第三の道を取る。 ## 提案手法 MRC は RC を拡張し、コネクション単位のマルチパスパケット散布とリンク・ファブリック障害下での高速フェイルオーバーを、RC の信頼性ある順序配送・completion ソフトウェア抽象を保ったまま実現する。設計は [[Ultra Ethernet]] と IBTA の概念・成果を組み合わせた直交プリミティブの集合として組織化され、これらが協調して 1 つの制御ループを構成する: エンドポイントはパケット単位で経路を選択し、アウトスタンディングトラフィックを境界づけて並び替え・バッファリングを制御し、選択的信頼性・輻輳フィードバックを交換し、データパスで可視な到達性シグナルの broadcast によってポート・経路障害を緩和する。 **Table I: MRC トランスポートプリミティブ(Mandatory (M) / Optional (O))** | カテゴリ | プリミティブ | 説明 | M/O | |---|---|---|---| | マルチパス・マルチプレーン | Per-connection packet spraying | パケット単位で EV(Entropy Value)をローテーションし負荷を分散 | M | | | Source routing | SRv6 uSID または MRC Structured EV でパスベクトルを符号化 | O | | | EV profiles | 複数 QP 間で共有されるコントローラ管理の EV 設定 | M | | | EV states & denylisting | 経路健全性を追跡し、データパスまたは中央コントローラによる EV スコープの無効化を可能にする | O | | | Multi-plane operation | 単一 QP 内で複数ポートにまたがるパケット散布を分離して実現 | O | | インフライト境界 | Maximum PSN Range | アウトスタンディングな Packet Sequence Number を境界づける、レスポンダが広告するウィンドウ | M | | | Dynamic MPR | レスポンダの SACK によるコネクション MPR のランタイム更新 | O | | | Maximum WriteIMM inflight | 並行する Write-Immediate 操作数の上限をレスポンダが広告 | M | | 信頼性・回復 | Reliability control packets (SACK, NACK) | パケット単位の選択的・否定的確認応答機構 | M | | | Trimmed packet support | ネットワーク内でのパケットのヘッダへの切り詰めと宛先への転送 | O | | | Reliability probes | レスポンダのパケット受信状態を問い合わせるリクエスタ起点のプローブ | O | | | Per-packet timer | アウトスタンディングパケットごとの独立した再送タイマー | O | | | Linear + Exponential ACK timeout | 線形からのちに指数バックオフへ遷移する再送タイマー | M | | | Fast-loss detection hook | 実装依存の高速損失検知・回復 | O | | | Differentiated DSCP traffic classes | データ・再送・制御パケットを分離する専用 DSCP コードポイント | M | | 輻輳制御・負荷分散 | NSCC congestion control | ECN と RTT 由来のキューイング遅延を用いるウィンドウベースの SACK クロック型アルゴリズム | O | | | Timestamp header | RTT 計測のためレスポンダが反映するリクエスタ挿入タイムスタンプ | O | | | Service-time reporting/compensation | レスポンダ側のホスト処理オーバーヘッドをエンドツーエンド RTT から差し引く | O | | | Responder host backpressure | レスポンダ側のホスト輻輳をリクエスタへ伝播 | O | | 耐障害性・高速フェイルオーバー | EV Probes | 経路スコープの生存確認のためのエンドポイントスコープ要求/応答交換 | O | | | Port Status Update | ローカルなリンク状態の更新を公開する非同期エンドポイントシグナリング | O | (Table I. MRC の全プリミティブを 5 カテゴリに分類したもの。Mandatory は正しさのために必須、Optional は効率・耐障害性を改善する。実装はハードウェア設計点や想定ネットワーク構成に応じて Optional プリミティブを選択する。) - **アーキテクチャ**: MRC はデータプレーン操作を Write と Write-with-Immediate (WriteImm) のみに絞り込み、RC のエンドツーエンドフロー制御を明示的な bounded-flight 機構に置き換える。レスポンダでのアウトオブオーダーなデータ配置を許容してパケット散布に対応し、パケット配送をセマンティック処理から分離する一方、リクエスタ・レスポンダの completion セマンティクスは変更しない。 ### A. マルチパス・マルチプレーン操作 RC は接続 5-tuple の ECMP ハッシュで各 QP を 1 経路に固定するため、マルチパスファブリック容量を使い切れず、エンドポイントが経路レベルの輻輳・障害へ応答する手段もない。MRC はリクエスタがパケットごとに Entropy Value (EV) フィールドを変化させることで、単一 QP のパケットを多数のファブリック経路に分散する明示的なパケット単位マルチパスを提供する。EV はワイヤ上で運ばれネットワークによって経路選択に解釈され、エンドポイントによって負荷分散・耐障害性の目的で管理される第一級のトランスポートプリミティブである。 MRC は 3 種類の EV 機構をサポートする: 現行の legacy ECMP ハッシュ、UDP 送信元ポートと IPv6 flow label 内に決定論的なホップバイホップソースルーティングを符号化する Structured EV、SRv6 マイクロセグメントによる明示的経路選択をサポートする SRv6 uSID ソースルーティング。3 方式は共通の EV 抽象を共有し、トランスポート層のマルチパスロジックを変えずに暗黙ハッシュと明示ソースルーティングを NIC の能力次第でシームレスに切り替えられる。 EV 選択は EV profile によって構成される。EV profile はコネクションが利用可能な EV の「universe」と EV の生成方法(明示リスト・NIC 生成・SRv6 由来)を定義し、コントローラが管理して複数 QP 間で共有できる(QP あたりの状態量を抑制)。ランタイムでは実装が EV ごとの軽量な状態を保持し、輻輳・不健全な経路から選択を偏らせる。各 EV は GOOD・SKIP・DENIED・ASSUMED_BAD のいずれかに分類され、送信に使われるのは GOOD 状態の EV のみで、残りの状態はデータパス観測または明示的なコントローラ介入によりトリガされる、段階的に強い除外を表す。実装は EV probing (§II-E) によって ASSUMED_BAD からの復帰もサポートしうる。Clos 型ネットワークでは、この EV ベースのエンドツーエンド負荷分散により、スイッチにもはや代替経路がない地点を超えてもなお、輻輳した経路やフラッピングするリンクを迅速に回避できる。 MRC はさらにマルチポート NIC を介して複数のファブリックプレーンへパケット散布を拡張する。EV を物理ポート(プレーン)間で分割することで、単一 QP が複数の物理ファブリックプレーンにまたがってトラフィックを散布でき、経路多様性を最大化し障害を単一ポート・プレーンに隔離できる。加えて MRC は応答経路の選択をフォワードのリクエストパスから分離する。この経路の非対称性により、制御パケットはデータとは異なる経路・プレーンを利用でき、部分的なファブリック障害や非対称な輻輳に対する耐障害性を強化する。狙いは、ネットワーク障害が QP 障害を引き起こしたり転送のテールレイテンシに大きく影響しないようにすることである。大規模同期 AI 学習ジョブの性能は 100 パーセンタイルの転送性能に強く支配されるためである。 ### B. レシーバ駆動の境界付きインフライト送信 散布されたパケットはレスポンダにアウトオブオーダーで到着することが多い。アウトスタンディングトラフィックへの構造的境界がなければ、エンドポイントはレスポンダのバッファ枯渇とリクエスタの再送状態爆発に直面する。MRC はこれを Maximum PSN Range (MPR) — インフライトのリクエストパケットを厳密に境界づけるスライディング受信ウィンドウ — で緩和する。リクエスタはレスポンダが広告するパケットトラッカービットマップの上端を超えるシーケンス番号のパケットを送信できない。MPR はコネクション確立時にネゴシエートされ、レスポンダのリクエストパケットバッファリング容量を反映する。 両エンドポイントは PSN 精度の MPR サイズのビットマップウィンドウを保持し、インフライトパケットを追跡する。この構造が MRC の選択的確認応答・再送機構(§II-C)を支え、リクエスタの再送状態をネゴシエートされた MPR のサイズに直接束縛する。同様にレスポンダのアウトオブオーダー受信状態も MPR に比例する。 MPR はコネクション寿命全体を通して静的なままでもよいが、MRC はオプションで Dynamic MPR をサポートし、レスポンダが SACK 経由でウィンドウサイズを動的に更新できる。Dynamic MPR は 2 軸でハードウェアリソース配分を最適化する: 第一に、最悪ケースの静的プロビジョニングではなくトラフィック需要に応じてビットマップメモリを弾力的にスケールする。第二に、アイドルまたは低レートのコネクションから割当を回収することで、有限のビットマップ容量を並行する QP 間でオーバーサブスクライブ・多重化できる。 加えて MRC のレスポンダは並行するアウトスタンディング WriteIMM 操作数の上限を広告する。MPR がリクエストパケット精度で PSN ウィンドウを境界づけるのに対し、WriteIMM limiting はレスポンダが並行処理する用意のあるセマンティックレベルの操作数を境界づける。これら 2 つの分離された機構により、レスポンダはパケットとセマンティック操作それぞれのバッファリング・状態を独立した次元で制限できる。 ### C. 信頼性と回復 MRC はベストエフォート Ethernet を対象とし、損失と並び替えを前提とする。RDMA セマンティック処理から分離された、レスポンダでのパケット受信を追跡するパケット配送レイヤーを導入する。 - **SACK と NACK**: MRC は選択的確認応答 (SACK) によってパケット信頼性を担保する。各 SACK は累積確認応答・ビットマップオフセット・そのオフセットに対するアウトオブオーダー到着のビットマスクを運ぶ。これによりリクエスタはパケット損失と一時的な並び替えを明示的に区別できる。レスポンダはギャップが埋まるにつれ累積確認応答を進め、リクエスタの送信ホライズンをスライドさせる。これを補完する否定的確認応答 (NACK) は、即座の再送をトリガする能動的な未配送シグナルを提供し、パケット配送レイヤーで動作してトリミングパケット到着やローカルリソース枯渇のような決定論的イベントに駆動される。ヘッドオブラインブロッキングを最小化しウィンドウ前進を加速するため、MRC は最も古い欠落 PSN の再送を優先する: レスポンダはビットマップの未完了領域を優先報告し、リクエスタは差別化された高優先度トラフィッククラスで再送する(§II-E)。 - **Trimmed Packet Support**: スイッチが論理的にドロップされたパケットを切り詰め、高優先度トラフィッククラスでヘッダのみを転送する。レスポンダはこのヘッダを処理してリクエスタへの NACK を生成する。この明示的・低レイテンシな損失シグナルにより、再送タイムアウトタイマーを経由しない高速再送が可能になる。 - **Reliability Probes**: リクエスタはアウトオブバンドの信頼性プローブを発行し、レスポンダの現在のコネクション配送状態を問い合わせられる。応答が転送進行から分離されているため、プローブは PSN を消費せずコネクション状態も変更しない。fire-and-forget な軽量機構としても、タイマー経由でも利用できる。受信するとレスポンダは通常の SACK を返す。プローブによりリクエスタは ACK タイムアウトに依存せず能動的にコネクション健全性を監査できる。 - **Timeout and Loss Detection**: MRC は RC のコネクションタイマーと Local ACK timeout プリミティブを洗練し、線形からのちに指数バックオフへ遷移する高分解能の Local ACK timeout を追加し、オプションでパケットごとのタイマー機能を持つ。加えて実装依存の損失検知・回復アルゴリズムを許容する。 ### D. 輻輳制御と負荷分散の統合 MRC はベストエフォート Ethernet 上での輻輳制御 (CC) をサポートするよう設計されており、特に [[Ultra Ethernet]] の NSCC — ECN と RTT 由来のキューイング遅延を利用してバイト精度の輻輳ウィンドウを調整する送信者側のウィンドウ駆動アルゴリズム — を重視する。MRC は NSCC を駆動するために必要なトランスポートシグナルを標準化する。全 SACK は専用サブヘッダに CC メタデータをカプセル化し、アルゴリズムがこれを消費する。この状態はフォワードパスの ECN マーキング、レスポンダの計測指標(累積受信バイト数等)、レスポンダ側の輻輳ウィンドウペナルティを伝える。MRC は標準化されたシグナル・メタデータの部分集合を利用する代替アルゴリズムもサポートする。加えてコントローラは EV profile と同様、コネクション単位の CC profile 設定を可能にする。 RTT 推定は 2 つの機構でサポートされる: リクエスタはローカル状態を保持するか、パケットヘッダに明示的タイムスタンプを埋め込みレスポンダに CC サブヘッダで反映させる。MRC はコネクション単位の service-time compensation もサポートする。有効化するとレスポンダは内部処理レイテンシを報告し、リクエスタはこのオーバーヘッドを差し引いてレスポンダの処理遅延があってもネットワーク RTT を正確に計算できる。 MRC はホストバックプレッシャーもサポートし、レスポンダが実装非依存の方法でメモリサブシステムのキューイングをシグナルできる。NSCC はこのフィードバックを利用してリクエスタの輻輳ウィンドウを調整し、レスポンダ側のメモリ競合がエンドツーエンド性能を劣化させるのを防ぐ。最後にレスポンダは戻り SACK 内でフォワードパスの EV を反映し、リクエスタが ECN マーキングを特定の経路と相関させられるようにする。マルチパス負荷分散アルゴリズムはこの経路単位のフィードバックを利用して経路選択確率を動的に調整する(§II-A)。負荷分散アルゴリズムの選択は実装定義である。 ### E. 耐障害性と高速フェイルオーバー 大規模ネットワークファブリックはリンクフラップ・ブラックホール・ルーティング非対称性のような頻発する障害を起こしやすく、性能を劣化させジョブクラッシュさえ引き起こしうる。ベースラインの RC はコントロールプレーンの収束とエンドツーエンドタイムアウトに依存しており、これらの問題への対処が不十分である。 MRC はエンドポイント操作を導入する: これは予約済み QP 識別子 (0x2) でワイヤ上に識別される、軽量で GID スコープの制御交換である。レシーバはコネクションコンテキストなしでステートレスにこれらの操作を処理し、レイヤ 2・3 フィールドを入れ替えるだけで応答を生成する。GID スコープにより、1 回の交換で同一 GID を共有する全コネクションの状態を同時に更新でき、操作オーバーヘッドを償却しスケーラビリティを改善する。 MRC は 2 種類のエンドポイント操作を定義する。EV probes は経路スコープで、特定 EV の生存可能性を検証する。主に EV 選択と健全性状態を駆動するために使われる(§II-A)。実装はデータパスまたはコントローラ API (§IV) のいずれから EV probe を発行してもよく、デプロイメントに依存する。Port status update は非同期操作で、マルチプレーンネットワークにおけるポートレベルの到達性を通知する。送信者のローカルなポート健全性を反映する port_status_mask ビットマップを運び、受信者はこの状態を記録して劣化ポートを避ける。Port Status Update はデータパスまたはコントローラ API から発行でき、到達性シグナリングをスローなコントロールプレーンのタイムスケールからデータプレーンの往復時間へ加速する。 これらの機構が合わさって高速フェイルオーバー能力を定義する: Port Status Update がリンク・ファブリック障害を能動的にシグナルし、EV probes が劣化した経路の生存可能性をコントロールプレーンの介入なしに自律的・継続的に問い合わせる。両プリミティブをコントローラ API とデータパスの双方に公開することで、実装はユースケースとデプロイメントの要求に応じて設計を調整できる。 ## 新規性 既存の open transport は 2 つの潮流に分かれる: proprietary transport(例: Falcon、Alibaba Stellar 等)はベンダー境界をまたいだ進化が難しく、Ultra Ethernet のようなクリーンスレートなオープン仕様は新規ハードウェア・新規ソフトウェアスタック・数年に及ぶ相互運用性の成熟を要する。MRC はどちらとも異なる第三の道を取る: RC を直接拡張してその十分に理解されたセマンティクス・ソフトウェアモデルを保持しつつ、上記 3 つのギャップに対応する直交プリミティブの一貫した集合を追加する。この結果、固定ピア・単一ティアのアクセラレータファブリックから任意ピア・マルチティアの NIC 展開まで、幅広い設計点にまたがって段階的に採用できるトランスポートが得られる。既存ハードウェア設計の上に構築される点も、新規シリコンを要するクリーンスレート設計との対比で強調されている。 ## 実験設定 本論文は設計・仕様論文であり、実証的な性能評価は含まれない。実験環境・データセット・比較対象・評価指標は提示されない。著者らは goodput・レイテンシ・障害回復に関する包括的な実証評価をコンパニオン論文 [10](Araujo, Chow, Handley, Lewis, Paasch, Padhye, Papamichael ほか, "Resilient AI Supercomputer Networking using MRC and SRv6," arXiv:2605.04333, 2026)に譲ると明記している。 ## 実験結果 本論文には実験結果は含まれない(上記参照)。MRC はすでに本番稼働していると述べられているが、稼働環境・規模についての定量的記述はない。 ## 考察 MRC の設計方針は、RC の 3 つの構造的欠陥(単一パス・スケールしない輻輳制御・障害脆弱性)を、それぞれ独立したプリミティブ(EV ベースのマルチパス散布、MPR による境界付きインフライト、SACK/NACK/トリミングパケットによる高速回復、NSCC 向け CC シグナル標準化、エンドポイント操作による高速フェイルオーバー)に分解し、直交する形で合成する点にある。とりわけ MPR による WriteIMM limiting とパケットレベルのインフライト境界の分離、EV の GOOD/SKIP/DENIED/ASSUMED_BAD という段階的排除の状態機械、GID スコープのエンドポイント操作によるコネクション横断の状態更新償却は、既存の RC ハードウェア設計を再利用しながら新しい振る舞いを追加するための具体的な工夫として読み取れる。 ## 強み / 弱点・課題 **強み** - RC のセマンティクス・ソフトウェアモデルを保持するため、既存 RDMA ハードウェア・ソフトウェアスタックからの漸進的な移行経路を提供する。 - AMD・Broadcom・Microsoft・NVIDIA・OpenAI・Intel という主要な AI インフラベンダー6社が共著し、Open Compute Project の下でオープン仕様として策定されている。 - マルチパス・インフライト境界・信頼性回復・輻輳制御・耐障害性という直交する関心事を明確に分離したプリミティブ設計により、実装がハードウェア設計点に応じて Optional プリミティブを選択できる。 **弱点・課題** - 本論文自体には実証的評価がなく、性能上の優位性はコンパニオン論文に依存する。 - MRC は RC とは非互換な新しいオペコード空間を用いるため、RC・MRC エンドポイント間の相互運用性はない(MRC 移行には両エンドポイントの更新が必要)。 - [[RoCE設計課題]] が指摘する UE・Falcon v1.1・MRC という「3 つの RoCEv2 代替」が並立する状況において、業界標準としての収斂・相互運用性がどう進むかは本論文の範囲外であり未解決である。