# Scaling Inference Prefill with High-Radix Photonic Interconnects > [!abstract] 概要(arXiv abstract の日本語訳) > 推論(inference)が今日の支配的なAIワークロードとして台頭する中、業界はMixture-of-Experts(MoE)モデルの複雑化に伴う大規模なスケールアップ要求を満たすため、高帯域なフォトニックインターコネクトへと移行しつつある。本論文は、Large Language Model(LLM)チャットにおける高並行性スループットと、推論(reasoning)およびエージェント型AIで典型的に要求される大きなコンテキストウィンドウとの間のトレードオフを分析することで、推論プリフィルにおける3D集積フォトニックインターコネクトの利点を定量化する。我々は短コンテキスト(1K〜8Kトークン)、中コンテキスト(128Kトークン)、長コンテキスト(1Mトークン)の3つのMoEモデルをシミュレーションする。既存の銅配線ベースのGPUシステムと、高帯域な集積フォトニクスを持つシステムの双方でこのワークロードを評価する。我々は、ストレスのかかる高バッチ領域で2.1〜3.2倍のレイテンシ改善、通信律速な構成でベースライン比2.8〜5.8倍の改善を示す。3D フォトニクスは、Time-To-First-Token(TTFT)を低減するために必要な1152-GPUフットプリントを可能にし、電気システムが本来のスケールアップpod限界を越える場面で、本番グレードのプラットフォーム全体にわたり2.2〜4.5倍の高速化をもたらす。 ## 論文情報 - タイトル: Scaling Inference Prefill with High-Radix Photonic Interconnects - 著者: [[Arulselvan Madhavan]]、[[Peter Carson]]、[[Taylor Groves]]、[[Thomas Graham]](いずれも [[Lightmatter]]) - 媒体: 第33回 IEEE Symposium on High-Performance Interconnects(HotI 2026)に採録。arXiv プレプリント(cs.DC)としても公開。**Best Paper Award 受賞。** - 発表年: 2026年 - arXiv ID: 2609.01821 - 発表スライド: HotI 2026 セッション発表資料(Arul Madhavan, Lightmatter) ## 概要 論文全体の要約。LLM推論のプリフィル(prefill)フェーズは、テンソル並列・エキスパート並列・シーケンス並列にまたがる大規模な集合通信(all-reduce・all-to-all・all-gather)を伴い、電気銅配線インターコネクトのリーチ・帯域限界によって通信律速になりやすい。本論文は、Lightmatter Passage の3D集積フォトニクスを参照点として、XLAベースのコストモデルによるシミュレーションで、光インターコネクトが銅配線比でどの程度プリフィルレイテンシとTTFTを改善するかを、3つのMoEモデル規模・4つのハードウェア世代・4つのコンテキスト長にわたって定量評価する。 ## 問題設定 - **入力**: DeepSeek-R1系アーキテクチャに準拠した3規模のMoEモデル(Mini/R1/Next)、1K〜1Mトークンのコンテキスト長、バッチサイズのスイープ。 - **出力**: 電気配線ベースラインと光インターコネクト構成それぞれのオーバーラップ済みプリフィルレイテンシ(compute-communication overlap を考慮)、両者の比(倍率)。 - **前提**: 4つの電気ベースラインGPUプラットフォーム(B200、B300、Rubin、R4)それぞれに対し、同一のper-GPU計算性能・HBM容量を保ったまま、4倍のスケールアップ帯域と最大1152 GPUの光スケールアップpodを持つ光対応構成をペアリングして比較する。Lightmatter Passage自体はシミュレーション対象ではなく、帯域・radix・エネルギーの参照値としてのみ引用する。 ## 提案手法 - **アーキテクチャ**: 光インターコネクトは、Electronic Integrated Circuit(EIC)ないしホストASICをPhotonic Integrated Circuit(PIC)の直上に3Dスタックする「Lightmatter Passage」プラットフォームを参照する。光マイクロリング変調器(MRM)を電気SerDesの100マイクロメートル下に配置することで、パッケージのショアライン(chip shoreline)ではなくチップ面積全体にI/Oを「グリッド」状に分散配置できる。これにより電気配線比で**4倍の帯域**、**8倍のradix**(ポート数)を実現する(Table I)。 - **アルゴリズム/手法の詳細**: XLA(Accelerated Linear Algebra)コンパイラのフォークを用い、本番実装さながらのモデル分割(テンソル並列・エキスパート並列・コンテキスト並列)を反映したMLIR(Multi-Level Intermediate Representation)を生成し、コンパイラが生成する通信呼び出しからcompute/communicationコストをXLAベースのコストウォークで捕捉する。3D並列(Tensor/Expert/Sequence)のメッシュ形状は、DeepSeek-R1で288デバイス時に2×144×1(x×y×z)が選択されるなど、数百の候補メッシュ形状の中からオーバーラップ済みプリフィルレイテンシを最小化する形状を探索して選ぶ(Appendix B、Table V)。 - **実装上の工夫**: モデルはMulti-Head Latent Attention(MLA)を採用し、Grouped-Query Attention(GQA)比でKVキャッシュを大幅に圧縮する。DeepSeek-R1バリアントは、8/16/24/48/72のデバイス数での割り切れ制約を満たすため、埋め込み次元を7168から8064に、ルーテッドエキスパート数を256から288に、語彙数を129,280から145,440に変更しており、本番版DeepSeek-R1比で約14%大きいパラメータ数になる(Appendix A)。 ## 新規性 既存研究(引用[7]: Bernadskiy et al., "Accelerating Frontier MoE Training with 3D Integrated Optics")は3D集積光配線を分散MoE**訓練**に適用した効果を示していたのに対し、本論文はこれを**推論**、特にプリフィルフェーズに拡張した点が新規性である。推論では量子化(FP4/FP8)、連続バッチング(continuous batching)、disaggregated prefill/decode、MLAによるKVキャッシュ圧縮といった要因が、計算・メモリ・集合通信のボトルネックの所在を訓練時とは異なる形にシフトさせる。また、単純な帯域改善だけでなく、光インターコネクトが**スケールアップpod自体を最大1152 GPUまで拡張する**ことで、電気配線のスケールアップpod境界(1ラック、約72〜144 GPU)を越える際に生じる急激な通信ペナルティ(スケールアウトへの転落)を回避できる点を定量的に示した。 ## 実験設定 - **実験環境**: XLAベースのコストモデルによる解析的シミュレーション(実機の光ハードウェアでは未検証)。4つの電気ベースラインGPUプラットフォーム—B200、B300、Rubin(デュアルダイ想定のVera Rubin、72 GPUスケールアップpod)、R4(SemiAnalysisレポートから外挿した投機的なクアッドダイ構成、576 GPUスケールアップpod)—それぞれに対し、per-GPU計算性能とHBM容量を保ったまま4倍のスケールアップ帯域・最大1152 GPUの光スケールアップpodを持つ光対応構成をペアリング(Table III)。 - **データセット/モデル**: DeepSeek-R1系MoEアーキテクチャに基づくMini(21B active/190B total)、R1(42B active/840B total)、Next(201B active/13T total)の3規模(Table II)。FP4/FP8量子化の双方を評価。 - **比較対象**: 電気配線ベースライン(銅配線・単一ラックのスケールアップpod、ラックを越えるとInfiniBand相当のスケールアウトに切替)vs. 光配線構成(4倍帯域・最大1152 GPUのスケールアップpod)。 - **評価指標**: オーバーラップ済みプリフィルレイテンシ(compute-communicationオーバーラップを考慮)の電気/光の比(倍率)。デバイススイープ(コンテキスト長ごとにバッチサイズを固定しデバイス数を変化)とバッチスイープ(デバイス数を固定しバッチサイズを変化)の2種類のスイープを実施(Section IV-D)。加えて、実運用に近い小バッチ領域を検証するため、disaggregated servingのdiscrete-event simulation(DES)でp99 TTFT・TPOT・end-to-endレイテンシを評価(Section V-E)。 ## 実験結果 **Figure 1: 電気ベースラインの通信・計算コンポーネントレイテンシ** ![[_attachments/arxiv-2609.01821/fig01-electrical-component-latency.png]] (Fig. 1. DeepSeek R1バリアント、FP4、NVIDIA B300の電気ベースラインのプリフィルワークロードについて、通信・計算コンポーネントレイテンシを分解。(a) 低コンテキスト8Kトークン・72デバイスでバッチサイズを変化、(b) 128Kトークン・バッチ64でデバイス数を変化、(c) 1Mトークン・バッチ8でデバイス数を変化。8Kトークン・72デバイス・バッチ2048では、通信が約40.6秒、計算が16.8秒。128Kトークン・72デバイス・バッチ64では計算約56.1秒、通信約20.3秒。288デバイスにスケールすると計算は約14.3秒に下がるが通信は約35.5秒に増加。1Mトークンでは1152デバイスで計算時間が約26.2秒に低下する一方、通信は1152デバイスで39.2秒に達する。) **Figure 2: 光スケールアップ構成(4倍帯域)の通信・計算コンポーネントレイテンシ** ![[_attachments/arxiv-2609.01821/fig02-optical-component-latency.png]] (Fig. 2. Figure 1に対応する光スケールアップ構成(4倍のper-GPUスケールアップ帯域)。計算時間は電気ベースラインと同じで、通信コンポーネントのみ削減される。8K・72デバイス・バッチ2048点では通信が約10.2秒に低減(計算16.8秒は不変)。128K・288デバイスでは通信が約2.3秒まで低減し、電気配線比で約2.8〜3.0倍の改善。1M・1152デバイスでは通信が1.6秒まで低減し、計算律速の27.5秒のオーバーラップレイテンシとなり、電気ベースライン比2.3倍の総合高速化。) 低・中コンテキストワークロードでは、Figures 3・4・5が個別のプリフィルレイテンシ対デバイス数曲線、およびGPUあたり入力トークンスループット対バッチサイズ曲線を示す。 **Figure 3: 1Kトークンワークロード** ![[_attachments/arxiv-2609.01821/fig03-1k-tokens.png]] (Fig. 3. DeepSeek R1バリアント、FP4、NVIDIA B300、1Kトークン—(a) プリフィルレイテンシ対デバイス数、(b) GPUあたり入力トークンスループット(左軸、実線)とプリフィルレイテンシ(右軸、破線)対バッチサイズ。光構成は最良のデバイススイープ点で電気ベースライン比で約2.58倍の低レイテンシを達成し、任意のレイテンシSLAにおいてより大きなバッチサイズを維持できる。) **Figure 4: 8Kトークンワークロード** ![[_attachments/arxiv-2609.01821/fig04-8k-tokens.png]] (Fig. 4. 8Kトークン。デバイススイープにおける光の優位性は同等デバイス数で約2.21倍。) **Figure 5: 128Kトークンワークロード** ![[_attachments/arxiv-2609.01821/fig05-128k-tokens.png]] (Fig. 5. 128Kトークン(288デバイスのバッチスイープ)。この文脈長では通信が支配的になり、B300での最良デバイススイープ係数は約2.93倍。B200/Rubinは同等の電気スケールアップ帯域でもより大きな係数を示すが、これはB300の高速な計算が集合通信ボトルネックを部分的に相殺するため。) **Figure 6: 1Mトークンワークロード** ![[_attachments/arxiv-2609.01821/fig06-1m-tokens.png]] (Fig. 6. 1Mトークン。デバイススイープの最良改善はB300・1152デバイスで約2.27倍。B200/Rubinは約3.4〜4.5倍、R4はTable IVで8倍以上に達する。これはレイテンシの下限がper-GPU FLOPSよりもスケールアップ限界によって規定されるため。) **Table IV: 倍率ヒートマップ要約(FP4量子化、抜粋)** | モデル | ハードウェア | 1K(dev16) | 1K(dev72) | 8K(dev16) | 8K(dev72) | 128K(dev16) | 128K(dev72) | 128K(dev288) | 1M(dev288) | 1M(dev576) | 1M(dev1152) | |---|---|---|---|---|---|---|---|---|---|---|---| | R1 | B200 | 2.11〜2.22 | 2.28〜2.36 | 1.59〜1.62 | 2.01〜2.06 | 1.07 | 1.23 | 4.12〜4.46 | 1.03 | 1.53〜1.54 | 3.41〜3.45 | | R1 | B300 | 2.32〜2.38 | 2.53〜2.58 | 1.65〜1.67 | 2.18〜2.21 | 1.07 | 1.24〜1.25 | 2.83〜2.93 | 1.04 | 1.29〜1.30 | 2.27〜2.28 | | R1 | Rubin | 2.45〜2.58 | 2.64〜2.73 | 1.81〜1.85 | 2.34〜2.40 | 1.10 | 1.33 | 5.34〜5.75 | 1.05 | 1.75〜1.76 | 4.41〜4.45 | | R1 | R4 | 2.95〜3.06 | 3.05〜3.13 | 2.34〜2.40 | 2.86〜2.92 | 1.21〜1.22 | 1.66〜1.67 | 1.94〜2.02 | 1.11 | 1.20 | 8.33〜8.44 | (Table IV. 全体の傾向として、①GPU世代が新しくFP4のように計算が速いほど通信が相対的に目立ち倍率が上がる、②128K・1Mでデバイス数が電気スケールアップpod境界(72や576)を越えて288や1152へ拡張される局面で倍率が急増する(例: R1/B300で128K・dev16→dev288で1.07→2.93倍)、③R4は576GPUの大きなハイブリッド電気光podを持つため128Kでの倍率は相対的に小さい(2.0〜2.1倍)が、1Mでは1152デバイスへの拡張が必要になり最大の倍率(8.0〜8.5倍)を記録する。詳細は本文Section V-Dを参照。全モデル・全プラットフォームの完全な数値はTable IV(FP4)・Table VI(FP8+FP4)に掲載。) **Figure 7: disaggregated serving における p99 動作点(DES検証)** ![[_attachments/arxiv-2609.01821/fig07-des-p99-operating-points.png]] (Fig. 7. DeepSeek R1バリアント、B300 FP4、disaggregated serving DES — 72GPU構成(8GPUのプリフィルワーカー6台、24GPUのデコードワーカー1台)、Poisson到着(λ=250 req/s)、ISL 8192、OSL 1024でのp99動作点。各列はSLO軸(TTFT・TPOT・end-to-endレイテンシ)、各点はin-flight並行度(2048・4096・6144)。青が電気ベースライン、コーラルが光スケールアップ(4倍帯域)。p99 TTFTは全並行度で12〜20%改善(並行度2048で29.4秒→25.8秒、6144で81.8秒→65.5秒)。GPUあたり入力トークンスループットは1〜4%改善(並行度6144で13,959→14,141 tokens/s/GPU)。一方デコードワーカーは全並行度で完全に飽和しており、プリフィルが速くなるほどデコードバッチが上限(約694→734 @並行度6144)に近づき、p99 TPOTは77〜110%増加(31.6ms→66.3ms @並行度6144)。OSL 1024ではTTFT改善とTPOT悪化がほぼ相殺し、p99 end-to-endレイテンシはほぼ中立(−1〜−5%、103.4秒→102.0秒 @並行度6144)。) **Figure 8: DESレイテンシ分布(mean/median/p99の全体像、Appendix E)** ![[_attachments/arxiv-2609.01821/fig08-des-mean-median-p99.png]] (Fig. 8. Figure 7と同一シナリオについて、mean・median・p99の全percentile内訳。TTFT・TPOT・end-to-endレイテンシの3軸で、電気ベースライン(青)と光スケールアップ(コーラル)を並行度2048/4096/6144ごとに比較。) ## 考察 - 光インターコネクトによるプリフィル倍率の恩恵は「単純な4倍帯域」以上になる場合がある。これは光構成が帯域とradix(スケールアップpodサイズ)の両方を同時に改善するためであり、電気配線のスケールアップpod境界を越える構成では、単純な帯域論だけでは説明できない大きな倍率が観測される(Section V-D)。 - Section V-Eのdisaggregated serving DES検証が明らかにするのは、光スケールアップによるプリフィル側のTTFT・スループット改善は、デコード側の容量が共設計(co-design)されない限り、end-to-endのレイテンシやスループット改善に単純には変換されないという点である。プリフィルが速くなるほどデコードキューへのリクエスト到着が密になり、デコードバッチサイズが上限に近づくことでTPOTが劣化する(メモリ帯域律速ワーカーの典型的挙動)。TTFT改善とTPOT悪化は異なるレイテンシフェーズに作用するため、出力長(OSL)によって両者の相殺の程度が変わる。 - 128K・16〜72デバイスや1M・16〜288デバイスのような低ゲイン領域は、まだ最も高コストなスケールアップpod境界を越えていない、あるいは計算律速のままである構成であり、光インターコネクトは通信律速でないベースラインには一様な高速化をもたらさない。 ## 強み / 弱点・課題 - **Strengths**: 3つのMoEモデル規模・4つのハードウェア世代・2種類のスイープ(デバイス/バッチ)・2種類の量子化(FP4/FP8)を横断する36通りのシナリオ(Table IV/VI)による網羅的な感度分析。加えて、バルクプリフィルの解析的スイープだけでなく、disaggregated servingのDESによって実運用に近い小バッチ・低レイテンシSLA領域でも傾向をクロスチェックしている点(Section V-E)。 - **Weaknesses/Limitations**(著者らが明記): (1) 結果は解析的なものであり、実配備されたフォトニックハードウェアで未検証の光レイヤーをXLAコストモデルに追加したものである。(2) 光構成は理想的な4倍スケールアップ帯域を仮定しており、追加のリンクレイテンシ・熱限界・信号品質効果・展開コスト・総保有コスト(TCO)はモデル化していない。(3) 本論文は意図的にプリフィル中心であり、Section V-EのDES検証が示す通り、デコード飽和がend-to-endのサービング挙動を支配し得る場合、光スケールアップによるTTFT改善が最終的な効果を必ずしも代表しない。(4) R4構成(576/1152 GPU、クアッドダイ)はSemiAnalysisのロードマップレポートからの外挿による投機的な想定であり、投影値として読むべきである。