# Vijay Korthikanti [[NVIDIA]] 所属の研究者。大規模トランスフォーマーモデルの訓練効率化・メモリ最適化を専門とする。 [[@2023__MLSys__Reducing Activation Recomputation in Large Transformer Models|Korthikanti+ MLSys2023]] では筆頭著者として [[シーケンス並列化]] と [[選択的活性化再計算]] を提案し、530B MT-NLG モデルの訓練を完全再計算比 29% 高速化することを実証した。 ## 関連 - ソース: [[@2023__MLSys__Reducing Activation Recomputation in Large Transformer Models]] - エンティティ: [[NVIDIA]] / [[Megatron-LM]] / [[Bryan Catanzaro]] / [[Mohammad Shoeybi]] - 概念: [[選択的活性化再計算]] / [[シーケンス並列化]] / [[並列化戦略]]