# FairScale [[Meta]] が開発した PyTorch 拡張ライブラリで、高性能・大規模学習に特化する。Fully Sharded Data Parallel(FSDP)をスケーリングの主要手法として採用し、分散オプティマイザとして AdaScale optimizer を用いる。Pipeline Parallelism にも対応する。(Source: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]], Table 2) ## 関連 - ソース: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]] - 開発機関: [[Meta]] - 概念: [[並列化戦略]] / [[LLM分散学習]]