# HSDP ## 定義 HSDP(Hybrid Sharded Data Parallelism)は、GPU 群を**レプリカ**に分割し、レプリカ内ではパラメータ・勾配・オプティマイザ状態をシャーディングして保持し、レプリカ間ではデータ並列として勾配を集約する二層構造の並列化戦略である。レプリカ内はデータ並列・テンソル並列・パイプライン並列・エキスパート並列・コンテキスト並列を組み合わせた数千 GPU で構成しうる。各 GPU はレプリカ内での位置に応じた一意のランク番号を持ち、固定量のバッチを訓練したのち、**異なるレプリカの同一ランクの GPU 群**が勾配を交換して総和を計算し、各ランクのオプティマイザが重みを更新する。([[ZeROパラメータシャーディング]] の全域シャーディングと、素朴なデータ並列の全複製の中間に位置する)(Source: [[@2026__arXiv__Training LLMs with Fault Tolerant HSDP on 100,000 GPUs]]) この複製構造は耐障害性に 2 つの利点をもたらす。第 1 に、障害発生時は障害 GPU を含むレプリカのみを再構築すればよく、復旧規模と復旧時間を縮小できる。第 2 に、障害レプリカの復旧中も他のレプリカは訓練を継続できる(非同期復旧)。[[Meta]] の [[FT-HSDP]] はこの性質を明示的な耐障害機構として実装したものである。(Source: [[@2026__arXiv__Training LLMs with Fault Tolerant HSDP on 100,000 GPUs]]) ## 横断的知見 - (2 ソース目以降に蓄積する) ## 未解決の問い - レプリカ数とレプリカサイズのトレードオフはどう決めるか。レプリカを小さくすれば復旧単位は小さくなるが、レプリカ間の勾配集約(all-reduce)の通信量とシャーディングによるメモリ削減効果は逆方向に動く。 - 非同期復旧中に他レプリカが訓練を進めた場合、復旧したレプリカの重みをどう追いつかせるか。[[チェックポイント]]からの復元と、生存レプリカからの重み転送のどちらが有利か。 - [[ZeROパラメータシャーディング]](FSDP)の全域シャーディングと HSDP の二層構造は、どのクラスタ規模を境に優劣が逆転するか。 ## 関連 - 概念: [[ZeROパラメータシャーディング]] / [[ZeROオプティマイザ]] / [[LLM分散学習]] / [[並列化戦略]] / [[耐障害LLM訓練]] / [[チェックポイント]] - 実体: [[FT-HSDP]] / [[PyTorch]] / [[Meta]] - MOC: [[structures/分散深層学習 - MOC]] ## 出典 - [[@2026__arXiv__Training LLMs with Fault Tolerant HSDP on 100,000 GPUs]](§FT-HSDP の全体構成、図3)