# MoonEP [[Moonshot AI]] が [[Kimi K3]](2.78T パラメータ、896 routed experts)の Expert Parallelism(EP)訓練向けに開発した完全均衡型 EP スキーム。GitHub: `MoonshotAI/MoonEP`。 ## 課題設定 従来の EP(DeepEP 等)はランクごとのトークン負荷が不均衡になり、(1) 計算不均衡によるスループット低下、(2) routed-expert 活性化の動的形状変化によるメモリ断片化、を招く。 ## 設計 - **完全均衡+有界冗長エキスパート**: 全ランクが正確に S×K トークン(S=系列長、K=活性化エキスパート数)を処理するよう、動的冗長エキスパートをオンラインで計画・移行する。エキスパート数 E・EP サイズ R に対し、冗長エキスパートが**最大 E/R 個/ランク**あれば常に均衡プランが存在することを証明し(この上限はほぼタイト)、この枠を確保することで訓練が計画失敗で停止しないことを保証する。ECHO・UltraEP など先行研究は冗長エキスパート数を事前固定するかランクごとのトークン上限を課すため、実行可能プランが存在しない場合に訓練が停止し、上限自体も手動調整と残存不均衡を伴う。 - **オンラインプランニング**: 厳密最適解を毎ステップ計算するのは高コストなため、代表ケースについて ILP(整数計画法)でオフライン参照解を求めたうえで、E/R 上限を常に守りつつ近似最適な GPU プランニングカーネルを設計。 - **ゼロコピー通信**: プランニングカーネルが各トークンの送信先を事前計算する融合 permute/unpermute オペレータにより、トークンをリモートランクのエキスパートグループ位置へ直接送り、通信バッファのビューをそのまま計算に返す。最悪ケース不均衡下で DeepEP が同じコピーフリー経路を実現するには S×K×R サイズのバッファが必要なのに対し、MoonEP は完全均衡ゆえに固定 S×K サイズのバッファで済む。 - **同期フリー静的形状実行**: 全ランクが毎層 S×K トークンを受け取るため、全層の計算形状が静的に既知になり、従来 MoE 実装で必要だった層ごとのホスト同期(実際の計算形状取得のため)が不要になる。 - **Expert-GEMM スケジューリングとオーバーラップ**: ランク全体の負荷は均衡していても、ランク内のエキスパートごとのトークン数は偏るため、ワークロード適応型スケジューラがハードウェアメトリクスの解析コストモデル(係数はオフラインでオートチューニング)に基づき起動前にパラメータを選択する。shared experts の GEMM は別ストリームにディスパッチし他カーネルとオーバーラップさせる。 ## 関連 - エンティティ: [[Moonshot AI]] / [[Kimi K3]] / [[DeepEP]](先行する EP 実装、計算フローの土台) - 概念: [[Mixture-of-Experts]] - ソース: [[@2026__Moonshot AI__Kimi K3 - Open Frontier Intelligence]](§5.2.1、§E に均衡上限の証明)