# 光回線交換 ## 定義 光回線交換(optical circuit switching, OCS)は、MEMS(micro-electromechanical systems)ミラー等を用いて、光信号のパスそのものをミリ秒オーダーで物理的に切り替えるスイッチング方式である。パケットスイッチのように共有トラフィックを制御する必要がなく、ポート間に**専用の物理チャネル**を確立する。[[@2024__NSDI__Resiliency at Scale - Managing Google's TPUv4 Machine Learning Supercomputer]] は、[[Google]] の [[Palomar Optical Circuit Switch]](OCS)を用いて [[TPUv4]] スーパーコンピュータの ICI(inter-chip interconnect)ファブリックをソフトウェア定義的に動的再構成する設計を報告する。OCS の本番データセンターネットワークでの利用自体は同論文の参考文献であるJupiter Evolving(Poutievski+, SIGCOMM 2022)で先行しており、TPUv4 論文はこれを exascale ML スーパーコンピュータの ICI ファブリックに特化して適用した点を新規性とする。 ## 横断的知見 現時点では TPUv4 論文が本 concept の初のソースであり、横断的知見は 2 ソース目以降に積み増す。以下は TPUv4 単一ソース内の記述だが、他 concept(データセンターネットワーク信頼性・耐障害LLM訓練)が集めてきた光ファイバ・光リンクの障害率データと並べて記録しておく初期的な観察。 - **光 ICI リンクの日次故障率は、他の公開値と比べて低い水準にある**: TPUv4 の光 ICI ケーブルは日次故障率 **0.005%**(§5.2)と報告される。単純に日次→月次換算すると概ね 0.1〜0.2%/月程度に相当するが、[[@2024__SIGCOMM__Alibaba HPN - A Data Center Network for Large Language Model Training]] は本番統計として NIC–ToR リンクの月間障害率を **0.057%**、ToR スイッチを **0.051%** と報告しており([[耐障害LLM訓練]])、両者は測定対象(TPUv4 の ICI 光リンク vs Alibaba HPN の NIC–ToR 銅・光混在リンク)や障害の定義が異なるため単純比較はできないものの、桁として大きく矛盾しない範囲にある。一方 [[@2025__NSDI__Evolution of Aegis - Fault Diagnosis for AI Model Training Service in Production]] は rail-optimized ネットワークの長距離リンクで光モジュール・光ファイバの障害率が DAC(Direct Attach Copper)比 **1.2〜10 倍**であると報告しており、光リンクそのものは銅配線より壊れやすい部品であるという像を提供する。TPUv4 の低い障害率(0.005%/日)は、OCS による動的再構成という**救済機構込みの実効値**である可能性が高く、リンク単体の物理的信頼性を直接表す値ではない点に注意が必要(単なる障害率の比較でなく、再構成でカバーされる系とそうでない系の違いとして読むべき)。(Source: [[@2024__NSDI__Resiliency at Scale - Managing Google's TPUv4 Machine Learning Supercomputer]], [[@2024__SIGCOMM__Alibaba HPN - A Data Center Network for Large Language Model Training]], [[@2025__NSDI__Evolution of Aegis - Fault Diagnosis for AI Model Training Service in Production]]) - **光ファイバ・OCS のコストは、TPUv4 の設備投資では小さな比率にとどまる**: TPUv4 では OCS と光ファイバのコストが pod 総資本コストの **5%未満**、稼働電力も pod 総電力の **3%未満**と報告される(§2.2)。これは「光回線交換による再構成性・耐障害性」という機能を、相対的に小さな追加コストで獲得できることを示す一次データであり、光の信頼性コスト(壊れやすさ・修理優先度)と調達コスト(pod 予算に占める割合)のトレードオフを考える際の具体的な基準値になる。ただし、この比率が TPUv4 という特定システムのコスト構造(TPU チップ自体の高コスト)に強く依存する点は考慮が必要で、GPU クラスタのようにアクセラレータコストの構造が異なる系にそのまま適用できるかは未検証。(Source: [[@2024__NSDI__Resiliency at Scale - Managing Google's TPUv4 Machine Learning Supercomputer]]) ## 未解決の問い - 光 ICI リンクの日次故障率 0.005%(TPUv4)と NIC–ToR リンクの月間障害率 0.057%(Alibaba HPN)は、測定対象・定義・時間単位が異なるため厳密な比較ができない。同一の測定手法・時間粒度で光リンク信頼性をベンチマークする共通の物差しは作れるか。 - OCS による動的再構成(cube 単位の切り替え)は、GPU クラスタで一般的なパケットスイッチベースの Fat-Tree/Clos トポロジ(→ [[AIデータセンタートポロジ]])と比べて、故障時の復旧速度・ブラスト半径・コストのどこで優劣が入れ替わるか。TPUv4 のような専用アクセラレータクラスタ以外(汎用 GPU クラスタ)に OCS ベースの再構成性を適用する場合、どのような設計変更が必要か。 - 光ファイバ・OCS コストが pod 総資本コストの5%未満という数値は、TPU チップ自体の高コストによって相対的に薄まっている可能性がある。GPU クラスタのようにアクセラレータ単価の異なる系で同じ設計を採用した場合、光回線交換のコスト比率はどう変わるか。 - OCS 故障はブラスト半径が大きい(スーパーコンピュータ内の全キューブに影響しうる)一方、日次故障率(0.04%)はマシン(0.08%)より低くICIケーブル(0.005%)より高い中間的な水準にある。ブラスト半径と発生頻度の積で見た「期待影響」は、OCS・マシン・ICI のどれが実際には最大のリスク源か。TPUv4 論文はこの定量化まで踏み込んでいない。 ## 関連 - 概念: [[AIデータセンタートポロジ]] / [[データセンターネットワーク信頼性]] / [[フォールトトレランス]] / [[データセンター内光配線設計]] / [[耐障害LLM訓練]] - ソース: [[@2024__NSDI__Resiliency at Scale - Managing Google's TPUv4 Machine Learning Supercomputer]] - エンティティ: [[Google]] / [[TPUv4]] / [[Palomar Optical Circuit Switch]] / [[Borg]] ## 出典 - [[@2024__NSDI__Resiliency at Scale - Managing Google's TPUv4 Machine Learning Supercomputer]](§2.2 TPUv4: OCS-based Reconfigurability, §5.2 Hardware Maintenance Automation)