# Kimi K3 [[Moonshot AI]] が 2026-07-27 にウェイト・技術レポートを公開した総パラメータ 2.78 兆(活性化 104.2B)・93 層・コンテキストウィンドウ 100 万トークンのネイティブマルチモーダル MoE LLM。「世界初のオープンな 3T クラスモデル」と位置づけられる。 ## アーキテクチャ - [[Kimi Delta Attention]](KDA、3層)+ Gated MLA(1層)の 3:1 ハイブリッドアテンション(69 KDA + 24 MLA)。全 MLA 層に NoPE を適用し位置情報を KDA の再帰減衰に委ねる。 - [[Attention Residuals]](AttnRes): 層の深さにおける選択的表現検索。学習可能な擬似クエリで埋め込み・先行ブロック出力に softmax カーネルでアテンションする。8 ブロック(12層/ブロック)に分割する Block AttnRes でメモリ・通信オーバーヘッドを O(Ld)→O(Nd) に削減。 - [[Stable LatentMoE]]: 896 エキスパートから 16 を活性化する疎性 MoE アーキテクチャ(スパーシティ 56、shared experts 2)。[[Kimi K2]] の 384 エキスパート/活性化 8(スパーシティ 48)から拡大。RMSNorm・SiTU-GLU・Quantile Balancing で安定化。 - ネイティブビジョン(MoonViT-V2、27層・約0.4B)を対照学習初期化なしで次トークン予測のみからゼロ訓練。 - Per-Head Muon: アテンションヘッド単位で Newton–Schulz 直交化を分離適用。 MXFP4 重み・MXFP8 活性化による量子化認識訓練を SFT 段階から適用。[[Kimi K2]] 比で約 2.5 倍のスケーリング効率改善を報告する。 ## 訓練 三段階の後段訓練(SFT → ドメイン×努力レベル別 RL 9専門モデル → Multi-Teacher On-Policy Distillation で統合)。インフラ面では [[MoonEP]](完全均衡型 Expert Parallelism)、AgentENV(Firecracker microVM サンドボックス、訓練・評価全体で5,100万超のサンドボックスを生成)、KDA 対応プレフィックスキャッシュ(コーディング作業でキャッシュヒット率 90% 以上)を新規開発。 ## 性能 主要ベンチマークで Claude Fable 5・GPT-5.6 Sol に僅差で劣後しつつ、Claude Opus 4.8・GPT-5.5・GLM-5.2 を一貫して上回る。BrowseComp・MCPMark-Verified・AutomationBench・ProgramBench・OmniDocBench で首位。WebDev Arena で99モデル中1位(オープンモデル初)。コスト効率がフロンティア級スコアに対し数分の1〜数十分の1。Research-level 推論(CritPt・HLE-Full)ではギャップが残る。 ## Day0 デプロイ実績([[Fixstars]] による実測) [[Fixstars]] が公開当日(2026-07-28)に [[NVIDIA]] B300 SXM6 x8 の単一ノード(HBM3e 288GB×8=2,304GB)へ [[SGLang]] 0.5.16 でデプロイし、実用速度での動作を確認した。[[Decode Context Parallelism|DCP]] により MLA KV キャッシュを8GPUに分散し、実効コンテキスト527,872トークンを確保。Random ワークロード(ISL 8K/OSL 1K)で並列数40時にピークスループット5,847.6 tok/s、コーディングエージェント実データセットでは並列30近傍で頭打ちとなり実用上限は同時30リクエスト程度と報告された。MXFP4 ネイティブ配布(QAT済み)により追加量子化なしでデプロイできたが、ウェイトダウンロード(約1.6TB)からモデルロードまで起動全体で約88.8分を要した。`--mamba-full-memory-ratio` の初期設定(5)は KDA state pool に寄りすぎており、コーディングエージェント用途では MLA KV 側に比率を下げるべきという運用上の知見も報告されている。(Source: [[@2026__Fixstars Tech Blog__Kimi-K3 を Day0 デプロイ - 2.8T モデルは NVIDIA B300 x8 の 1 ノードで動くのか]]) ## 関連 - [[Moonshot AI]] — 開発企業 - [[Kimi K2]] — 前世代モデル(1.04T、384 エキスパート) - [[Kimi Linear]] — KDA の初出モデル(48B) - [[Kimi Delta Attention]] / [[Attention Residuals]] / [[Stable LatentMoE]] / [[MoonEP]] — アーキテクチャ・インフラ構成要素 - [[Fixstars]] — Day0 デプロイ検証実施企業 - [[SGLang]] / [[Decode Context Parallelism]] — Day0 デプロイで使用した推論エンジン・並列化方式 - [[@2026__Moonshot AI__Kimi K3 - Open Frontier Intelligence]] — 出典(技術レポート) - [[@2026__Fixstars Tech Blog__Kimi-K3 を Day0 デプロイ - 2.8T モデルは NVIDIA B300 x8 の 1 ノードで動くのか]] — 出典(Day0 デプロイベンチマーク)