# Colossal-AI 大規模分散学習を主目的に設計されたフレームワーク。3D Parallelism・シーケンス並列化・自動並列化(Auto-Parallelism)・Zero Redundancy Optimizer(ZeRO)を統一 API で提供し、ヘテロジニアスメモリ管理により大規模分散環境でのオーケストレーション構築コストを緩和する。Expert Parallelism・PagedAttention・FlashAttention-2 にも対応し、量子化(GPTQ・SmoothQuant)・RLHF・OpenMoE・混合精度学習を統合する。(Source: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]], Table 2) Training/Fine-Tuning/Inference のすべてに対応する 8 フレームワークの一つで、DeepSpeed・Megatron と同じく 3D Parallelism を核に持つが、Auto-Parallelism とヘテロジニアスメモリ管理を独自機能として備える点で差別化される。(Source: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]]) ## 関連 - ソース: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]] - 概念: [[並列化戦略]] / [[LLM分散学習]] - 隣接エンティティ: [[DeepSpeed]] / [[Megatron-LM]] / [[vLLM]]