# FT-HSDP FT-HSDP(Fault Tolerant Hybrid-Shared Data Parallelism)は、[[Meta|Meta Platforms]] が提案する 10 万 GPU 級 LLM 事前学習向けの耐障害訓練パラダイムである。[[HSDP]](Hybrid-Shared Data Parallelism)に基づき複数のデータ並列レプリカを作成し、レプリカを耐障害性の単位とする——障害発生時は障害を含むレプリカのみを再構築し、他のレプリカは訓練を継続する非同期復旧を実現する。98K H100 GPU の実クラスタで、完全同期復旧と比べて障害復旧のスタール時間を 10 分から 3 分へ削減し、有効訓練時間を 44% から 80% へ改善したと報告する。(Source: [[@2026__arXiv__Training LLMs with Fault Tolerant HSDP on 100,000 GPUs]]) ## 構成技術 - **FTAR(Fault Tolerant All Reduce)**: レプリカ間の勾配交換を担うプロトコル。制御ロジック(コネクションの確立/破棄、コンセンサスサービスによるピア決定、輻輳制御、エラー種別ごとの対応判断)は CPU が駆動し、データ転送は GPU が担うハイブリッド設計を採る。native NCCL AllReduce より少ない SM(2 対 4)で比較可能なスループットを達成する。リングアルゴリズム + 固定サイズチャンクのパイプラインで、AI Zone/DC 建屋をまたぐ over-subscribe されたリンクでの輻輳を抑える。 - **非ブロッキング Catch-up プロトコル**: 遅れているレプリカが、健全レプリカを stall させることなく追いつくためのプロトコル。各ステップ開始時にコンセンサスサービス経由で各レプリカの次ステップ番号を報告し、最大値を報告したレプリカを健全とみなす。遅れたレプリカはチェックポイントをピアツーピアで取得しつつゼロ勾配を送信し、FTAR が全レプリカを自動的に同一状態へ揃える。 ## 評価結果の要点 - 98K H100 GPU・12 レプリカ・4 DC 建屋構成で、1 レプリカの障害・復旧につき合計約 3 分のスタール(完全同期復旧では 10 分)。 - 18 分ごとに 1 障害という本番の障害率を仮定すると、有効訓練時間は完全同期復旧の 44% から FT-HSDP で 80% へ改善する。 - 256 H100 GPU・3B アクティブパラメータ MoE モデルでの実験では、非同期復旧が最終的なモデル精度を有意に劣化させないが訓練中に変動を招き、平方根学習率介入(sqrt LR intervention)がこれを緩和する。 ## 関連 - ソース: [[@2026__arXiv__Training LLMs with Fault Tolerant HSDP on 100,000 GPUs]] - エンティティ: [[Meta]] / [[NCCL]] / [[Omkar Salpekar]] / [[Rohan Varma]] / [[Chunqiang Tang]] / [[Maxim Naumov]] - 概念: [[耐障害LLM訓練]] / [[LLM分散学習]] / [[ZeROパラメータシャーディング]] / [[チェックポイント]] / [[弾性LLM訓練]] ## 出典 - [[@2026__arXiv__Training LLMs with Fault Tolerant HSDP on 100,000 GPUs]](提案論文、98K GPU 実測評価)