# Stable LatentMoE [[Moonshot AI]] が [[Kimi K3]] で採用した疎性 [[Mixture-of-Experts|MoE]] アーキテクチャ。896 のエキスパートから 16 を効果的に活性化する(スパーシティ 56、shared experts 2)。[[Kimi K2]] の 384 エキスパート/活性化 8(スパーシティ 48)からエキスパート数・活性化数ともに大幅増。潜在次元 ℓ=3,584(隠れ次元 7,168 の 0.5 倍)、MoE 隠れ次元/エキスパート 3,072(K2 比 +50%)。 > [!note] 名称の類似に関する注意(2026-07-27 技術レポートで解消) > [[NVIDIA]] が [[Nemotron 3]] で提案した [[LatentMoE]](Elango et al., arXiv:2601.18089)と名称が類似する件は、Kimi K3 技術レポートが同じ論文([32] = arXiv:2601.18089)を明示的に引用し「LatentMoE はモデル全幅と routed-expert 幅を分離することでこの拡張を可能にする」と述べていることで解消した。Stable LatentMoE は Nemotron 3 とは**独立設計ではなく、同一の LatentMoE(Elango et al.)を継承した上での安定化拡張**である。「Stable」が指すのは**訓練安定性**: 極端なスパース性(896 エキスパート)は (1) ほぼ4連続の行列積からなる ill-conditioned な routed パスでの活性化爆発、(2) 既存の補助損失なしバイアス更新が破綻する規模の負荷分散、という2つの失敗モードを増幅する。Stable LatentMoE はこの2つに対応する3要素で構成される。 ## 3つの安定化要素 1. **Normalized LatentMoE**: routed 集約表現 $u$ にアップ射影 $W_\uparrow$ を適用する前に RMSNorm を挿入し、選択エキスパート・ルーティング重みに依存するスケール変動を抑える。検証損失・下流ベンチマークの双方を一貫して改善。 2. **SiTU-GLU**(Sigmoid Tanh Unit GLU): SwiGLU のゲート・アップ両分岐が非有界であることに起因する活性化外れ値・低精度演算でのオーバーフローリスクに対応。$\beta\tanh(x/\beta)$ のソフトキャップをゲート分岐($\beta_1=4$)・アップ分岐($\beta_2=25$)の両方に適用し、原点付近では SwiGLU に近い応答を保ちつつ大振幅では有界(|f(x)|≤100)にする。 3. **Quantile Balancing(QB)**: 補助損失なしルーティングのバイアス更新則を、DeepSeek-V3 系譜の固定ステップ符号更新から**ルータスコアのバッチ分位数**マッチングに変更。目標負荷 $q=mk/n$ に対応する分位数を Top-(k+1) ルーティングのカットオフから導出し、次ステップから適用(自己参照回避)。896 エキスパートという大規模プールで固定ステップ更新が収束しにくい問題に対応する。厳密な分位数計算は全バッチ規模で非現実的なため、実運用では各エキスパートのマージンをヒストグラム化し all-reduce で集約する近似推定を用いる。 ## 関連 - エンティティ: [[Moonshot AI]] / [[Kimi K3]] / [[Kimi K2]] / [[LatentMoE]](Elango et al. のオリジナル設計。Nemotron 3 が採用、Kimi K3 も同一設計を継承) - 概念: [[Mixture-of-Experts]] - ソース: [[@2026__Moonshot AI__Kimi K3 - Open Frontier Intelligence]] ## 未解決の問い - スパーシティ 56(896 エキスパート/活性化 16)が Kimi K2 のスパーシティスケーリング則(スパーシティ 48 で 1.69× FLOPS 節約)の外挿としてどの程度成立するか、技術レポートは定量的な検証結果を示していない。 - Quantile Balancing のヒストグラム近似の誤差が、真の分位数ベース QB と比べてダウンストリーム性能にどの程度影響するか(§D に誤差限界の記述はあるが実測比較は限定的)。