# AIインフラを考える Navigation: [[../index|index]] | [[../overview|overview]] > [!note] 出典と確度 > 本資料は [[Masayuki Kobayashi]](markunet、[[SAKURA Internet]] インフラエンジニア)氏が第38回 ISOC-JP Workshop(2025年9月26日)で発表したスライド資料である。全52ページを画像で確認した。音声/動画は提供されておらず、口頭説明・質疑応答の内容は本ページに含まれていない。タイトルスライドの登壇者・所属・日付は明記されており、WebFetch による公式ページ確認(所属: さくらインターネット、発表イベント: 第38回 ISOC-JP Workshop)と一致した。 ## 概要 AIインフラの性能を左右する要因を「相互接続ネットワーク」という一貫した軸で整理した講演資料。ハイパースケーラーの巨大化サイクル、Scale Up/Scale Out/Scale Outsideの3ドメイン、RDMA over Converged Ethernet(RoCEv2)のパケット構造とECN/PFC/ロードバランシングの運用上の課題、分散学習から分散推論へのシフトに伴うKV Cache転送のネットワーク負荷、という4部構成で、いずれも一次仕様書・学会発表・IETF Internet-Draftを引用しながら技術的詳細に踏み込む。 ## 主要メッセージ - 生成AIの需要を起点に、GPU性能向上→ネットワークへの性能要求→密結合したシステムの需要→消費電力増加→電力・冷却への要求→より多くのGPUを集積可能に、という循環でAIインフラが巨大化している(p.4)。Hot Chips 2025の引用データでは、Common Training Cluster Sizeは2015年の1 GPUから2025年には約10万GPU規模まで拡大した。 - 現在は「Scale Up帯域 > Scale Out帯域」という帯域の非対称性が課題であり、Scale Up(ラック内、超低遅延・高帯域)、Scale Out(ラック間、High-Radix/High-Bandwidth)、Scale Outside(DC間、長距離・分散型AIクラスタ)という3ドメインそれぞれで新たな規格仕様(Broadcom Scale-Up Ethernet、UALink、Ultra Ethernet)が提案・実装されている(p.10-11)。 - RoCEv2はInfiniBandのトランスポート(L4)をUDP/IPでカプセル化する方式で、拡張ヘッダ(RETH)は先頭パケットにのみ付与され、IBA仕様は選択的再送やパケットの順序逆転受信をサポートしない。これによりRDMA Writeのフラグメントは受信順序が保証される代わりに、途中経路でのパケットスプレーによる分散ができない制約を持つ(p.22-24)。 - ECNは輻輳点(スイッチ)でDSCPマーキングし、宛先ノードがCongestion Notification Packet(CNP)を送信元に送り返す3ホップの通知経路を取る。QP情報がBTHに含まれずスイッチが読めないため、スイッチが直接CNPを生成できない制約があり、IETF Internet-Draft「Fast CNP」(draft-xiao-rtgwg-rocev2-fast-cnp-03、2025年6月)がこの制約への対処を提案している(p.28-31)。 - PFCのバッファプロファイルは、同一DCルーム内(ケーブル長50m未満)と長距離接続(300m超)で最適値が異なり、Shallow Buffer SwitchとDeep Buffer Switchが混在する経路では単一の万能プロファイルが存在しない(p.32-33)。 - ロードバランシングでは、RDMA-unaware LB(Pure ECMP、DLB/GLB、Scheduled Fabric、Enhanced Ethernet)とRDMA-aware LB(Flow Pinning)の間で、NIC側サポートの要否とリオーダー機構の置き場所(スイッチ側かNIC側か)がトレードオフになる(p.34)。 - 分散推論では、Prefill(Compute Bound)とDecode(Memory Bound)をGPU間で分離するPD Disaggregationにより、Worker間のKV Cache転送(KV Cache Sharing)が新たなネットワーク負荷になる。7B MHAモデル・4Kトークン入力でKV Cacheサイズは約2.0GB、Llama3 405B・8Kトークン・同時接続100リクエストでは420GBに達する試算を示す(p.41-45)。KV Cache転送にはNVLink/PCIe(Scale Up)またはNIC/DPU(Scale Out)を用い、どちらを選ぶかでボトルネックが変わる(p.47)。 ## 視覚的に重要な図表 **p.4 AIインフラの巨大化サイクルとHot Chips 2025のCommon Training Cluster Size** ![[_attachments/isocjp38-ai-infra-kobayashi/page-004.png]] 生成AI需要起点の巨大化サイクル図と、Hot Chips 2025資料からの引用で2015年の1 GPUから2025年に約10万GPU規模まで拡大したCommon Training Cluster Sizeのグラフを並置し、AIインフラ巨大化の実データによる裏付けとして提示する。 **p.9 GB200 NVL72のScale Upシステム構成** ![[_attachments/isocjp38-ai-infra-kobayashi/page-009.png]] NVIDIA GB200 NVL72 Backplane・NVLink Cartridge・NVLink Cables・NVLink Switch Trayの構成写真と72GPU間の相互接続トポロジ図(NVIDIA公式ブログより引用)。ラック全体を単一の巨大な計算機として見せるScale Upシステムの物理実装例として提示される。 **p.13 さくらインターネットのコンテナ型データセンターと水冷GPUサーバー** ![[_attachments/isocjp38-ai-infra-kobayashi/page-013.png]] 石狩データセンター敷地内のコンテナ型データセンター外観写真と、NVIDIA H200 GPU 8基搭載の直接液体冷却(Direct Liquid Cooling)水冷サーバーの内部写真。1コンテナあたり20ラック・計40ラックを計画から約1年6か月で竣工した実例として提示される。 **p.21 AIインフラの技術的岐路(16項目の相互依存トレードオフ)** ![[_attachments/isocjp38-ai-infra-kobayashi/page-021.png]] NICの速度・Switch ASIC・Optical・サーバのフットプリント・スイッチの水冷化タイミング・Scale Up方式・LLMのアーキテクチャ・分散推論の必要範囲・Symmetric memory・ネットワークアーキテクチャ・GPU消費電力・高速ストレージという16の論点を4×4グリッドで並べ、「互いに疎に見える要素が複雑な依存とトレードオフの関係にある」ことを示す本資料の中心的な図。 **p.26 サイレントドロップの課題(Drop Notificationのパケットトリミング)** ![[_attachments/isocjp38-ai-infra-kobayashi/page-026.png]] 輻輳・破棄されたパケットのヘッダ部分をDCNヘッダとしてトリミングし、DSCP値を輻輳発生場所に応じて書き換えて別優先キューから送信する仕組みを図解する。受信側NICが「Trimmed Packet」と理解して再送制御を起動する新ロジックが必要になり、従来のEthernet受信処理実装だけでは対応できない点を示す。 **p.35 Scale Out Topologyの単一プレーンからマルチプレーンへの移行** ![[_attachments/isocjp38-ai-infra-kobayashi/page-035.png]] 102.4T Switch Fabricの単一プレーン構成(Rail-Optimized Topology)から、51.2T Switch Fabric×2のマルチプレーン構成(Multi-Plane Multi-Rail Optimized Topology)への移行を図解する。片方のプレーンに問題があっても他方で計算を継続できるResilience向上という利点と、スイッチ台数増加に伴う運用負荷増というトレードオフを示す。 **p.39 LLM推論の自己回帰生成とKV Cache・Prefill/Decode** ![[_attachments/isocjp38-ai-infra-kobayashi/page-039.png]] トークン生成の自己回帰ループを4イテレーション分図解し、初回のプロンプト処理(Prefill、Compute Bound)と2回目以降のトークン生成(Decode、Memory Bound)という2フェーズの違い、KV Cacheが両フェーズをまたいで蓄積される様子を示す。 **p.40 PD Disaggregationにおけるworker間KV Cache Sharing** ![[_attachments/isocjp38-ai-infra-kobayashi/page-040.png]] DistServe論文の図を引用し、Prefill InstanceとDecoding Instanceを別のGPU群に分離しKV Cache Transferで接続する構成、およびNVIDIA DynamoのKV Cache Aware Routingが Random Routing比でTTFTを3倍、平均レイテンシを2倍高速化した実測データを併載する。 **p.47 KV Cache転送先ネットワークの伝送速度比較** ![[_attachments/isocjp38-ai-infra-kobayashi/page-047.png]] Scale Up(PCIe Gen5/Gen6、NVLink 4.0/5.0、最大900GB/s)とScale Out(400G NIC/DPU、800G NIC、最大100GB/s)のインターコネクト規格別最大伝送速度を表にまとめ、KV Cache転送でパフォーマンスを落とさないためにはどちらの経路を使うかが重要になる、という本資料後半の結論を裏付ける。 ## RDMA over (Converged|Commodity) Ethernetのパケット構造(p.22-27) - RoCEv2は Ethernet Header + IP Header + UDP Header の上に IBA の Base Transport Header(BTH)・Extended Header(RETH)・Payload・ICRCを載せる構造で、5-tuple entropyとIBA packetの2階層からなる(p.20)。 - RDMA Write Onlyは単一パケットで完結するが、PMTUを超えるメッセージはWrite First(RETH付き)→Write Middle→Write Lastの順にフラグメントされ、後続パケットが先に届くことを許容しない(p.23-24)。 - Wiresharkでのパケットキャプチャ実例(RoCEv2 Packet Walk Through Cheat Sheet)を引用し、RDMA WRITE First/Middle/LastのOpcode・Acknowledge Request・Packet Sequence Numberの実際の値を示す(p.25)。 ## 概念・実体への接続 - [[RDMA]] / [[RoCE設計課題]]: RoCEv2のパケット構造(BTH/RETH/ICRC)、フラグメントの受信順序制約、Wiresharkキャプチャ実例を追加。 - [[データセンター輻輳制御]]: ECNの3ホップ通知経路(Reaction Point/Congestion Point/Notification Point)とスイッチがCNPを直接生成できない制約、IETF Fast CNP draftを追加。 - [[負荷分散]]: RDMA-unaware LB(Pure ECMP/DLB/GLB/Scheduled Fabric/Enhanced Ethernet)とRDMA-aware LB(Flow Pinning)のフロー識別方法・分散要素・NIC側サポート要否・リオーダー箇所の比較表を追加。 - [[並列化戦略]]: Data/Pipeline/Tensor/Expert/3D Parallelの通信特性・主な通信ドメイン(Scale Up/Scale Out)・ボトルネックの対応表を追加。 - [[KVキャッシュ管理]] / [[Prefill-Decode分離]]: PD DisaggregationにおけるKV Cache SharingのネットワークコストをMHAモデルの計算式とLlama3 8B/405Bの具体的な試算値(1K〜8K×同時100リクエストで100〜420GB)で追加。 - [[AIデータセンタートポロジ]]: Scale Up(ラック内)・Scale Out(ラック間)・Scale Outside(DC間)の3ドメイン区分と、Single PlaneからMulti-Plane Multi-Railへの移行によるResilience向上とスイッチ台数増のトレードオフを追加。 - [[Ultra Ethernet]]: Scale Out領域の新規格として、UALink(Scale Up)・Broadcom Scale-Up Ethernet Framework(Scale Up)と並ぶ位置づけを追加。 - [[Masayuki Kobayashi]]: 著者。既存 wiki 取り込み済みの「マルチプレーンGPUネットワークを実現するシャッフルアーキテクチャの整理と考察」「AIインフラの最新技術動向 2026」に続く3件目のソース。今回初めて所属(さくらインターネット、インフラエンジニア)と略歴(IIJ→LINE→ヤフー→LINEヤフー→さくらインターネット)が判明した。 - [[SAKURA Internet]] / [[高火力 PHY]]: 発表者の所属先。石狩データセンターのコンテナ型データセンター(2025年6月稼働、H200 GPU 8基搭載水冷サーバー約1000基)と、さくらONE(TOP500 49位、SONiC Ethernet採用)の事例を追加。 ## 限界・不確実点 - 音声/動画は提供されておらず、口頭説明・質疑応答は本ページに含まれていない。 - p.25のWiresharkキャプチャ画像はスクリーンショットの文字が小さく、Packet Sequence Numberなど一部数値は目視確認できる範囲に留まる。 - p.19の規格仕様書表紙(Broadcom Scale-Up Ethernet Framework、UALink 200 Rev 1.0、Ultra Ethernet v1.0.1)は表紙画像の引用であり、本文に仕様の詳細な技術的比較は含まれない。