# Mohammad Shoeybi NVIDIA 所属の研究者。Megatron Patwary、Raul Puri、Patrick LeGresley、Jared Casper、Bryan Catanzaro と並ぶ等貢献第一著者として [[Megatron-LM]] テンソル並列の基礎論文を執筆した。 Transformer の MLP・多頭注意ブロックをレイヤー内で分割するテンソル並列(intra-layer model parallelism)の設計を主導し、カスタムコンパイラ不要で PyTorch 数行の追加で実装できる方式を提案した。512 GPU・8.3B パラメータで 76% スケーリング効率という当時の最高水準を示した。 連絡先(論文記載): [email protected] [[@2023__MLSys__Reducing Activation Recomputation in Large Transformer Models|Korthikanti+ MLSys2023]] でも共著し、Megatron-LM 式テンソル並列化に [[シーケンス並列化]] を組み合わせた実装に参画した。 ## 関連 - ソース: [[@2019__arXiv__Megatron-LM Training Multi-Billion Parameter Language Models Using Model Parallelism]] / [[@2023__MLSys__Reducing Activation Recomputation in Large Transformer Models]] - エンティティ: [[NVIDIA]] / [[Megatron-LM]] / [[Bryan Catanzaro]] / [[Vijay Korthikanti]] - 概念: [[テンソル並列]] / [[並列化戦略]] / [[シーケンス並列化]] / [[選択的活性化再計算]]