# Stable LatentMoE [[Moonshot AI]] が [[Kimi K3]] で採用した疎性 [[Mixture-of-Experts|MoE]] アーキテクチャ。896 のエキスパートから 16 を効果的に活性化する(スパーシティ 56)。[[Kimi K2]] の 384 エキスパート/活性化 8(スパーシティ 48)からエキスパート数・活性化数ともに大幅増。 > [!note] 名称の類似に関する注意 > [[NVIDIA]] が [[Nemotron 3]] で提案した [[LatentMoE]](トークン埋め込みを潜在次元へ射影しエキスパート計算・All-to-All 通信を削減する設計)と名称が類似するが、Kimi K3 の発表記事は具体的な機構を説明しておらず、NVIDIA 方式の採用か Moonshot AI 独自の別設計かは判別できない。「Stable」の接頭辞が何を安定化するのか(訓練安定性か推論安定性か)も未公開。 ## 関連 - エンティティ: [[Moonshot AI]] / [[Kimi K3]] / [[Kimi K2]] / [[LatentMoE]](NVIDIA、類似名称の別設計の可能性) - 概念: [[Mixture-of-Experts]] - ソース: [[@2026__Moonshot AI__Kimi K3 - Open Frontier Intelligence]] ## 未解決の問い - Stable LatentMoE と NVIDIA の LatentMoE(Nemotron 3)の設計上の異同。 - 「Stable」が指す安定化機構の具体的な中身(訓練時のロススパイク対策か、ルーティング安定性か)。 - スパーシティ 56(896 エキスパート/活性化 16)が Kimi K2 のスパーシティスケーリング則(スパーシティ 48 で 1.69× FLOPS 節約)の外挿として成立するか。