# DeepGEMM [[DeepSeek-AI]] が開発した、MoE モデルのエキスパート行列積(GEMM)を最適化する CUDA ベースのライブラリ。[[SGLang]] の大規模 Expert Parallelism 実装では、可変形状のトークンに対応する**連続レイアウト**(Prefill 向け)と、固定形状・CUDA Graph 対応の**マスク形式**(Decode 向け)の 2 モードを使い分ける。Prefill では [[DeepEP]] の normal dispatch 出力(象徴形状)を連続形式へ変換するカスタム Triton カーネルが併用される。(Source: [[@2025__LMSYS Blog__Deploying DeepSeek with PD Disaggregation and Large-Scale Expert Parallelism on 96 H100 GPUs]]) [[MegaMoE]]([[DeepSeek-V4]] 向けの細粒度エキスパート並列化融合カーネル)は DeepGEMM の一部として公開されている。 ## 関連 - エンティティ: [[MegaMoE]] / [[DeepEP]] / [[SGLang]] / [[DeepSeek-AI]] - 概念: [[Mixture-of-Experts]] - ソース: [[@2025__LMSYS Blog__Deploying DeepSeek with PD Disaggregation and Large-Scale Expert Parallelism on 96 H100 GPUs]] ## 出典 - [[@2025__LMSYS Blog__Deploying DeepSeek with PD Disaggregation and Large-Scale Expert Parallelism on 96 H100 GPUs]]