# AIインフラ ## 定義 AIインフラは、機械学習・深層学習のワークロードを支える計算資源、ストレージ、ネットワーク、冷却・電力設備、運用プラットフォームを一体として設計・運用する基盤である。GPU単体の性能ではなく、ワークロードを収容する施設、GPU間通信、リソース管理、物理保守までを含む。(Source: [[@2025__LY Corporation__AIインフラ革命 ─ 米国データセンターとGPUを支える技術基盤（Rethinking AI Infrastructure Part 1）]]) ## 構成レイヤー - **施設・電力・冷却**: 水力発電由来の電力、DEC、PUE、排熱、騒音。 - **物理サーバ・ラック**: GPUサーバ、ラック納品、ラック配置、ケーブリング。 - **GPU間ネットワーク**: 400Gbps、RoCEv2、Leaf-Spine-Super SpineのClos。 - **プラットフォーム**: マルチテナントKubernetes、CPU/GPU選択、ワークフロー、ETL、可視化、機械学習API。 - **データ基盤**: ストレージ、データベース、Hadoopとの連携。 ## 横断的知見 - **AIインフラの設計単位はGPUではなく、物理設備からプラットフォームまでの境界をまたぐ運用単位である**: [[@2025__LY Corporation__AIインフラ革命 ─ 米国データセンターとGPUを支える技術基盤（Rethinking AI Infrastructure Part 1）]]は、ACPのような利用者向けプラットフォームの強化を、サーバ・ネットワーク・データセンター・ストレージ・データベースの同時設計として説明する。[[@2026__JANOG58__Rack-Scale GPUサーバーのNW設計と運用までの苦悩]]も、GPUラックをCompute/Converged/OOB Fabric、サービス提供単位、液冷、Opticsの運用まで含むシステムとして扱う。抽象度は異なるが、両者はGPUを単独のアクセラレーターではなく運用境界全体の一部として設計する。(Source: [[@2025__LY Corporation__AIインフラ革命 ─ 米国データセンターとGPUを支える技術基盤（Rethinking AI Infrastructure Part 1）]], [[@2026__JANOG58__Rack-Scale GPUサーバーのNW設計と運用までの苦悩]]) - **ネットワーク設計は「帯域を増やす」だけでなく、物理配置・配線・相互運用性を含む**: LY Corporationの記事は400Gbps GPU間Closに加え、End of Rowラックの中央配置、MPOケーブルの太さ、SFP相互運用性を課題として挙げる。[[@2026__JANOG58__AIインフラ時代のデータセンター内光配線の実践知]]は、MPO心数、極性、コネクタ密度を速度帯と結び付ける。論理トポロジの設計だけでは、配線作業性と部材互換性がボトルネックになる。(Source: [[@2025__LY Corporation__AIインフラ革命 ─ 米国データセンターとGPUを支える技術基盤（Rethinking AI Infrastructure Part 1）]], [[@2026__JANOG58__AIインフラ時代のデータセンター内光配線の実践知]]) - **高密度GPU基盤では熱設計と通信設計が同じラック配置に収束する**: LY Corporationの記事はGPUラックを対向配置し、強い排気風圧を相殺して熱を上部へ逃がす。[[@2026__JANOG58__Rack-Scale GPUサーバーのNW設計と運用までの苦悩]]は、NVL72の液冷とCompute Fabricの配置を同時に扱う。GPUクラスタの物理配置は冷却だけでもネットワークだけでも決められず、排熱、ケーブル長、障害ドメイン、提供単位の共同最適化になる。(Source: [[@2025__LY Corporation__AIインフラ革命 ─ 米国データセンターとGPUを支える技術基盤（Rethinking AI Infrastructure Part 1）]], [[@2026__JANOG58__Rack-Scale GPUサーバーのNW設計と運用までの苦悩]]) - **「閉じたGPU網」と「汎用サービス網」の分離は、RoCEの前提とサービス運用の前提を分ける実装パターンである**: LY Corporationの記事はサービス通信を100Gbpsの冗長網、GPU間通信を400Gbps RoCEv2閉域Closとして分離する。[[RoCE設計課題]]が整理するPFC・輻輳ツリー・ロス回復の課題は、汎用マルチテナント網へRoCEをそのまま広げる難しさを示す。分離は単なる帯域設計でなく、通信特性と障害隔離の境界設定である。(Source: [[@2025__LY Corporation__AIインフラ革命 ─ 米国データセンターとGPUを支える技術基盤（Rethinking AI Infrastructure Part 1）]], [[RoCE設計課題]]) ## 未解決の問い - ACPのようなマルチテナントプラットフォームで、GPU間の閉域RoCE網と汎用サービス網のテナント境界・認証・障害隔離をどう統合するか。 - DECによるPUE低減、GPUの高密度配置、騒音対策を、GPUジョブのスケジューリングとどの粒度で連動させるべきか。 - ラック納品による構築期間短縮と、現地でのSFP・ケーブル相互運用性検証を、調達前の標準試験としてどう定式化するか。 - GPUクラスタの拡張時に、400Gbps Closの論理設計、MPO配線密度、End of Row配置、将来の光規格をどのように同時評価するか。 ## 関連 - 概念: [[GPUクラスタ運用]] / [[データセンターネットワークトポロジ]] / [[PUE]] / [[RoCE設計課題]] / [[データセンター内光配線設計]] / [[コンテナオーケストレーション]] - 実体: [[Actapio]] / [[AI Cloud Platform (ACP)]] / [[LINE株式会社]] / [[Open Compute Project]] - ソース: [[@2025__LY Corporation__AIインフラ革命 ─ 米国データセンターとGPUを支える技術基盤（Rethinking AI Infrastructure Part 1）]] / [[@2026__JANOG58__AIインフラ時代のデータセンター内光配線の実践知]] / [[@2026__JANOG58__Rack-Scale GPUサーバーのNW設計と運用までの苦悩]] ## 出典 - [[@2025__LY Corporation__AIインフラ革命 ─ 米国データセンターとGPUを支える技術基盤（Rethinking AI Infrastructure Part 1）]] - [[@2026__JANOG58__AIインフラ時代のデータセンター内光配線の実践知]] - [[@2026__JANOG58__Rack-Scale GPUサーバーのNW設計と運用までの苦悩]]