# Samyam Rajbhandari [[Microsoft]] 所属。[[DeepSpeed]] の中核機能 ZeRO(Zero Redundancy Optimizer)の均等貢献第一著者(Jeff Rasley と同等)。ZeRO の 3 段階分割設計(オプティマイザ状態・勾配・パラメータ)と ZeRO-R(残余メモリ最適化)を提案し、100B パラメータ超の訓練と Turing-NLG(17B)の世界最大モデルを実現した。 ## 関連 - ソース: [[@2020__SC__ZeRO Memory Optimizations Toward Training Trillion Parameter Models]] - 所属: [[Microsoft]] - 製品/OSS: [[DeepSpeed]] - 概念: [[LLM分散学習]] / [[並列化戦略]]