# MegaBlocks [[Databricks]] が開発した、Mixture-of-Experts(MoE)モデルの学習に特化したフレームワーク。中核技術の dropless-MoE は MoE をブロックスパース演算として再定式化し、ハードウェア効率を犠牲にせずトークンドロップを回避する。capacity factor をハイパーパラメータとして必要としないため学習が単純化・高速化される。FSDP に対応し、Megatron・vLLM への統合を前提とする点で、汎用の学習フレームワークではなく MoE 専用コンポーネントとしての位置づけを持つ。(Source: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]], Table 2) ## 関連 - ソース: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]] - 概念: [[Mixture-of-Experts]] / [[並列化戦略]] - 統合先: [[Megatron-LM]] / [[vLLM]]