# ReCycle [[Stanford University]]([[Swapnil Gandhi]], [[Christos Kozyrakis]] ほか)が開発した耐障害 DNN 訓練システム。SOSP '24 で発表。DeepSpeed 上にプロトタイプ実装。 ## 概要 ハイブリッド並列訓練(データ並列 DP × パイプライン並列 PP × テンソル並列 TP)の 2 つの内在的特性を活用する。 1. **機能的冗長性**: 同一パイプラインステージを担うデータ並列ピアは同一パラメータを保持する。障害発生時にマイクロバッチをピアへ再ルーティングできる。 2. **パイプラインバブル**: 1F1B スケジュールの特にウォームアップ・クールダウンフェーズに存在するアイドルスロットを、再ルーティング処理に活用する。 ## 3 技術 | 技術 | 目的 | |------|------| | **適応的パイプライン(Adaptive Pipelining)** | 障害ワーカーのマイクロバッチをデータ並列ピアへ動的再ルーティング | | **分割逆伝播(Decoupled BackProp)** | B_weight 計算をクールダウンバブルに遅延させ、ステディフェーズの競合を解消 | | **ストラグラーオプティマイザ(Staggered Optimizer)** | ステージごとのオプティマイザステップをずらしてウォームアップバブルも活用 | ## 性能 - Oobleck 対比最大 1.46×、Bamboo 対比最大 1.64× のスループット向上(GCP トレース再生) - 10% GPU 障害率で Fault-Scaled スループットの 0.5〜11.5% 低下以内を維持(シミュレーション) ## 関連システム 同じ [[Swapnil Gandhi]]・[[Christos Kozyrakis]] が [[Zhiqiang Xie]]・[[Ziyi Xu]] と発表した [[FailSafe]](arXiv 2025、MLSys 2026 Oral)は、対象領域を訓練からサービングへ移した姉妹システムに当たる。ReCycle がパイプラインバブルという訓練スケジュールの余白を復旧資源にするのに対し、FailSafe はテンソル並列サービングの負荷分配そのものを Cyclic KVCache Placement・Hybrid Attention で均等化する。詳細は [[耐障害LLMサービング]] を参照。 ## 出典 - [[@2024__SOSP__ReCycle - Resilient Training of Large DNNs using Pipeline Adaptation]]