# Bryan Catanzaro [[NVIDIA]] VP of Applied Deep Learning Research。[[Megatron-LM]] プロジェクトのシニアリーダーとして、テンソル並列化・パイプライン並列化・3D 並列化を基盤とした大規模 LLM 訓練フレームワークの設計を主導する。 [[@2023__MLSys__Reducing Activation Recomputation in Large Transformer Models|Korthikanti+ MLSys2023]] では責任著者として、[[シーケンス並列化]] と [[選択的活性化再計算]] の研究を監督した。MT-NLG 530B の [[Megatron-LM]] 実装でも共著している(Smith et al. 2022)。 ## 関連 - ソース: [[@2023__MLSys__Reducing Activation Recomputation in Large Transformer Models]] - エンティティ: [[NVIDIA]] / [[Megatron-LM]] / [[Mohammad Shoeybi]] / [[Vijay Korthikanti]] - 概念: [[選択的活性化再計算]] / [[シーケンス並列化]] / [[並列化戦略]]