# Deepak Narayanan [[Stanford University]] 所属(NVIDIA インターン期間中に本論文を執筆)。分散 LLM 訓練・パイプライン並列スケジューリングの研究者。PTD-P 論文([[@2021__SC__Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM]])の第一著者。 [[PipeDream]](SOSP 2019)・PipeDream-2BW(ICML 2021)と連続してパイプライン並列研究を主導しており、本論文は PTD-P として TP/PP/DP の組み合わせに発展させた集大成。指導教員は [[Matei Zaharia]]、共同研究先は [[NVIDIA]]。 ## 関連 - ソース: [[@2019__SOSP__PipeDream Generalized Pipeline Parallelism for DNN Training]] / [[@2021__SC__Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM]] - エンティティ: [[NVIDIA]] / [[Stanford University]] / [[Matei Zaharia]] / [[Megatron-LM]] / [[PipeDream]] - 概念: [[PTD-P]] / [[パイプライン並列化]] / [[並列化戦略]] / [[LLM分散学習]]