# Kimi K3: Open Frontier Intelligence > [!note] このページの改訂について > 2026-07-20 時点では公式ブログ記事(未公開の技術レポートへの言及のみ)を出典とする暫定版だった。2026-07-27 に技術レポート本体([[.raw/papers/k3_tech_report.pdf]])が公開されたため、本改訂で全面的に書き直した。ブログ記事の推測的記述(NVIDIA LatentMoE との異同、Stable の意味等)はすべて技術レポート本文で裏取りし、確定した。 ## 論文情報 - **タイトル**: Kimi K3: Open Frontier Intelligence - **著者**: Kimi Team([[Moonshot AI]]) - **媒体**: 技術レポート(PDF、47ページ)。モデルウェイトと同日の 2026-07-27 に公開 - **配布**: https://huggingface.co/moonshotai/Kimi-K3 ## 概要 [[Kimi K3]] は総パラメータ 2.78兆・活性化パラメータ 104.2B のネイティブマルチモーダル MoE モデルで、最大 100万トークンのコンテキストウィンドウを持つ。[[Kimi Delta Attention]](KDA)と [[Attention Residuals]](AttnRes)によりそれぞれ系列長方向・層深さ方向の情報流を拡張し、[[Stable LatentMoE]] がモデル幅方向のスパース性を 896 エキスパート中 16 活性化まで押し広げる。これらのアーキテクチャ改善とデータ・訓練レシピの洗練により、[[Kimi K2]] 比で約 2.5 倍のスケーリング効率改善を達成したと報告する。後段訓練は 100万トークンのテスト時スケーリングを前提に設計され、コーディング・汎用エージェント・知識/推論の 3 ドメイン × 3 努力レベル(low/high/max)の RL を実施し、Multi-Teacher On-Policy Distillation で単一モデルに統合する。ベンチマーク評価では Claude Fable 5・GPT-5.6 Sol に僅差で劣後しつつ、他の全モデルを一貫して上回る「オープンフロンティア」を確立したと結論する。 ## 問題設定 Kimi Team は LLM のスケーリングを 2 軸で捉える: (1) 事前訓練の計算投入(モデル・データを大きくする)、(2) テスト時計算(reasoning・エージェント型行動)。OpenAI o-series・Anthropic の extended thinking・DeepSeek-R1・[[Kimi K1.5]] 以降、オープンソースは軸(2)では急速に進歩した一方、軸(1)では 1T 級パラメータ規模に留まり続けており、プロプライエタリモデルとの差が拡大するリスクがあると問題提起する。Kimi K3 はこの 2 軸を同時に 3T 級パラメータ・100万トークンコンテキストのフロンティアへ押し広げることを目標とする。 ## 提案手法 ### アーキテクチャ 各ブロックは KDA 層 3 つに Gated MLA 層 1 つを続ける 3:1 のハイブリッド構成で、バックボーン末尾には必ず Gated MLA 層が置かれ最終層は常にグローバルアテンションになる。93 層・隠れ次元 7,168・アテンションヘッド数 96([[Kimi K2]] の 61 層・64 ヘッドから拡大)。 **Figure 2: Kimi K3 アーキテクチャ全体図** ![[_attachments/k3_tech_report/fig02-architecture.png]] (Figure 2. token・channel・layer の3方向の情報流に沿って構成されたアーキテクチャ。各ブロックは KDA 3層 + Gated MLA 1層。左上: Stable LatentMoE(shared/routed expert)。左下: KDA モジュール。右下: ネイティブビジョン経路。Source: Adapted from Kimi K3 Technical Report Figure 2.) - **[[Kimi Delta Attention]](KDA)**: delta-rule 再帰にチャネルワイズ忘却ゲートを加えた線形アテンション([[Kimi Linear]] の系譜)。K3 での主要な変更点は 3 つ: (1) 減衰対数化のマッピングを [[Kimi Linear]] の非有界な negative-Softplus から**下限付きスケーリング Sigmoid**($g_t^h = g_{min}\,\mathrm{Sigmoid}(e^{A^h} z_t^h)$、$g_{min}=-5$)に変更し、対角タイルも含め全チャンクを Tensor Core の密行列積で計算可能にした(§5.1.1 の FlashKDA 実装と対応)。(2) 出力ゲートを低ランクからフル ランクの入力依存射影に変更。(3) FlashAttention のバイアス丸め誤差を避けるため、アテンション出力を訓練中 FP32 で保持。 - **Gated MLA**: [[Multi-Head Latent Attention|MLA]] を継承しつつ、[[Kimi Linear]] にならい全 MLA 層に NoPE(位置エンコーディングなし)を適用。位置情報は KDA 層の再帰減衰に委ねる設計で、コンテキスト長拡張時に RoPE のリスケールが不要になる。 - **[[Attention Residuals]](AttnRes)**: 各層が学習可能な擬似クエリで埋め込み・先行ブロック出力に softmax カーネルでアテンションし、深さ方向に選択的な情報検索を行う(標準残差の O(1) 状態ボトルネックの解消)。計算量 O(L²d) を抑えるため層を N=8 ブロック(1ブロック12層)に分割し集約する Block AttnRes を採用し、メモリ・通信オーバーヘッドを O(Ld) から O(Nd) に削減。 - **[[Stable LatentMoE]]**: 896 routed experts のうち 16 を活性化(スパーシティ 56)、shared experts は 2。ルーティング後の集約表現に RMSNorm を追加(Normalized LatentMoE)、活性化関数を SwiGLU から自作の **SiTU-GLU**(Sigmoid Tanh Unit GLU、$\beta_1=4,\ \beta_2=25$ でゲート・アップ両分岐をソフトキャップ)に置換して活性化爆発を抑制、負荷分散に **Quantile Balancing**(QB)を新規導入(下記「新規性」参照)。潜在次元 ℓ=3,584(隠れ次元の 0.5 倍)、MoE 隠れ次元/エキスパート 3,072(K2比+50%)。 - **ネイティブビジョン**: MoonViT-V2(27層・約0.4B、RMSNorm・バイアス項除去)を SigLIP 等の対照学習済みモデルからの初期化を使わず**次トークン予測のみでゼロから訓練**。K2.5 の SigLIP 初期化 MoonViT-3D は勾配ノルムに頻繁なスパイクを示すのに対し MoonViT-V2 は訓練を通じて安定し(Figure 6)、ビジョン評価でも同等性能に達する。2×2 ピクセルシャッフルで視覚トークン数を 1/4 に圧縮し、3584×3584 px までの入力を 100万トークンコンテキストで許容する。 - **Per-Head Muon**: Muon の Newton–Schulz 直交化を Q/K/V 射影の全行列に対してではなく、ヘッドごとの運動量ブロックに分割して適用。ヘッド間の勾配・運動量スケール差による更新の不均衡を解消し、大規模での訓練安定性を改善する。 ### 事前訓練 Web Text・Code・Math・Knowledge の4テキストドメインと大規模ビジョンコーパス(キャプション・インターリーブ画像文書・OCR・動画・SVG/3D/Webページ/ゲーム/CAD などのプログラム的マルチモーダルデータ)で構成。専用のスケーリング則探索によりバッチサイズ・学習率・TPP(tokens-per-parameter)・モデル形状を再調整し、cosine decay を WSD(Warmup Stable Decay)より一貫して優位と結論(両者を独立に最適化したうえでの比較)。コンテキスト長は 8K→64K(事前訓練)→256K→1M(冷却フェーズ)の4段階カリキュラムで拡張する。 | 項目 | Kimi K2 | Kimi K3 | Δ | |---|---|---|---| | 層数 | 61 | 93 | +52% | | 総パラメータ | 1.04T | 2.78T | +167% | | 活性化パラメータ | 32.6B | 104.2B | +220% | | Routed Experts | 384 | 896 | +133% | | 活性化エキスパート数/トークン | 8 | 16 | +100% | | Shared Experts | 1 | 2 | +100% | | アテンションヘッド数 | 64 | 96 | +50% | | 訓練コンテキスト長 | 128K | 1M | ×8 | | アテンション機構 | MLA | Hybrid KDA–MLA(69 KDA + 24 MLA) | – | | 活性化関数 | SwiGLU | SiTU-GLU | – | (Table 1 の抜粋。Source: Kimi K3 Technical Report Table 1.) ### 後段訓練 3段階パイプライン: (1) **SFT** でエージェント能力のコールドスタート方策を確立し、XTML(eXtensible Token Markup Language)ベースのチャットテンプレートで長期エージェント軌跡を一貫してシリアライズ(§F)。(2) **RL** を汎用タスク・汎用エージェント・コーディングエージェントの3ドメイン × {low, high, max} 3努力レベルで実施し、9つのドメイン専門方策を訓練。長期軌跡の tail latency 対策として部分ロールアウト(λ割合が完了した時点で世代フェーズを一時停止)を採用し、per-token 正則化でオフポリシー度の高いデータでも訓練を安定化。努力レベルは初期トークン予算 $b_0(x)$ に対する乗数 τ のカリキュラムで制御。非検証可能タスクには Agentic Generative Reward Model(ルーブリック生成→採点→スコアパッド記録の必須プロトコル)を使用。(3) **Multi-Teacher On-Policy Distillation(MOPD)** で9専門モデルの能力を単一モデルへ統合。per-token OPD 報酬は教師/生徒方策の対数比をクリップした値で、top-k 蒸留より明確な優位は見られなかった。 RL 環境は、統一 white-box エージェント環境(harness をツール・システムプロンプト・コンテキスト管理などの構成可能モジュールとして表現し Kimi Code・Claude Code・Codex・OpenClaw・Hermes 等を再現)、知識グラフ駆動タスク合成(agent が Web 探索で自己拡張する DAG からキーワードを抽出し実材料を検索・タスク化、Figure 9)、GPU カーネル最適化タスク(Flash Linear Attention 等の高品質リポジトリ由来、reward hacking 検知付き)、Gmail/Notion/Slack 等の再現モック上の個人アシスタントタスク、Autonomous Execution Tasks(AET、検証者主導・参照軌跡なしの長期自律実行)、Web 開発タスク(決定的チェック+モデル判定)の6種で構成される。 **Figure 9: 知識グラフ駆動タスク合成の概要** ![[_attachments/k3_tech_report/fig09-knowledge-graph-task-synthesis.png]] (Figure 9. 階層的知識グラフ(CS/AI・Coding・Biomedicine 等の広域ドメインから細粒度概念まで)からキーワード集合をサンプリングし、Web材料検索を経てタスク種別ごとに合成タスクを生成するパイプライン。Source: Adapted from Kimi K3 Technical Report Figure 9.) ### デプロイ指向の後段訓練 MoE エキスパート重み(パラメータメモリの大半)を **MXFP4** に量子化し活性化は **MXFP8** で計算、SFT から RL まで後段訓練全体で量子化認識訓練(QAT)を適用。ロールアウトと訓練で同一の量子化スキームを共有し train-inference mismatch を排除。ドラフトモデルは事前訓練済み MTP 層を **EAGLE-3** 型にファインチューニングし(target を凍結・draft層と特徴融合射影のみ更新)、target の低・中・高レベル特徴(AttnRes ブロックの1番目・4番目・最終出力)を融合。受理率の負対数尤度を直接最適化する $\mathcal{L}_{LK}$ 損失を使用。 ## 新規性 - **Quantile Balancing(QB)**: 補助損失なしルーティング(DeepSeek-V3 系譜)のバイアス更新則を、固定ステップの符号更新から**ルータスコアのバッチ分位数**に置き換えた。目標負荷 $q=mk/n$ に対応する分位数(Top-(k+1) ルーティングのカットオフから導出)をバイアスとして設定し、次ステップから適用する(自己参照を避ける)。896 エキスパートという大規模プールで固定ステップ更新が収束しにくい問題に対応。全バッチにわたる正確な分位数計算は不可能なため、各エキスパートのマージンのヒストグラムを all-reduce で集約する近似推定を実運用で採用。 - **SiTU-GLU**: SwiGLU の無制限な乗算的増大を、ゲート分岐・アップ分岐の両方に $\beta \tanh(x/\beta)$ のソフトキャップを適用することで抑制しつつ、原点付近では SwiGLU と近い応答を保つ活性化関数。 - **KDA の下限付き減衰パラメータ化**: Kimi Linear の非有界対数減衰を Sigmoid で下限固定(gmin=-5)することで、対角タイルの逐次計算(position-pair diagonal path)を排し全チャンクを Tensor Core の密行列積に統一。これは §5.1 の FlashKDA カーネルの前提となるアーキテクチャ変更である。 - **MoonEP**: 完全均衡型 Expert Parallelism。従来の EP(DeepEP 等)がランクごとのトークン負荷不均衡→計算不均衡・メモリ断片化を抱えるのに対し、MoonEP は動的冗長エキスパートのオンライン計画・移行で全ランクが正確に S×K トークンを処理することを保証する。冗長エキスパート数の上限が E/R(E=エキスパート数、R=EP サイズ)でタイトであることを証明し(§E)、ILP によるオフライン参照解に近い GPU プランニングカーネルで低オーバーヘッドに実現。ゼロコピー通信・静的形状による同期フリー実行・ワークロード適応型 Expert-GEMM スケジューリングを組み合わせる。 - **AgentENV**: Firecracker microVM ベースの新規サンドボックスランタイム(パートナー企業と共同開発、OSS: kvcache-ai/AgentENV)。差分チェックポイント(チェックポイント133ms・再開49ms)、Pause/Resume(推論待機中は無コスト、待機がサンドボックス生存期間の最大98%)、Fork(副作用なしの報酬判定用)、Snapshot の高レベル操作を提供。OverlayBD イメージフォーマット・カスタム ublk ドライバでメモリオーバーコミット比最大6.5倍を達成し、訓練・評価全体で 150万超のイメージから 5,100万超のサンドボックスを生成。 - **KDA 対応プレフィックスキャッシュ**: KDA の固定サイズ再帰状態と MLA の per-token KV キャッシュという異種キャッシュを単一ページプールに統合。MLA 側は 512 トークン粒度でハッシュ照合する一方、KDA チェックポイントはこのハッシュ境界の疎な部分集合でのみ永続化し、両者が一致する最長境界でヒットを判定する(Figure 12)。物理キャッシュブロック(6,144トークン)より細かい粒度でのプレフィックス再利用を実現する。 **Figure 12: 物理キャッシュブロック内の細粒度プレフィックスキャッシュ** ![[_attachments/k3_tech_report/fig12-kda-prefix-cache.png]] (Figure 12. 6,144トークンの物理ブロックは512トークンのハッシュブロック12個から成る。青がキャッシュ済みMLAブロック、マーカーがKDAチェックポイントの有無を示す。B=2560でのヒットにより [0,B) の再計算なしにプリフィルを再開する。Source: Adapted from Kimi K3 Technical Report Figure 12.) ## 実験設定 - **比較対象**: プロプライエタリ(Claude Fable 5・GPT-5.6 Sol・Claude Opus 4.8・GPT-5.5)、オープン(GLM-5.2)。全モデル最大 reasoning effort で評価(GPT-5.5 のみ xhigh)。 - **評価軸**: Reasoning & Knowledge(GPQA Diamond・CritPt・AA-LCR・HLE-Full)、Coding(DeepSWE・ProgramBench・Terminal-Bench 2.1・FrontierSWE・SWE-Marathon・PostTrainBench・MLS-Bench-Lite・SciCode)、Agentic(BrowseComp・DeepSearchQA・ResearchRubrics・Toolathlon・MCPMark・MCP-Atlas・AutomationBench・JobBench・GDPval-AA v2・AA-Briefcase・Agents' Last Exam・OSWorld 等多数)、Vision(WorldVQA・OmniDocBench・PerceptionBench・Video-MME・MMVU・BabyVision・MMMU-Pro・CharXiv・Math-Vision・ZeroBench)。 - **ハーネス**: コーディングは Kimi Code・Claude Code・Codex のいずれかで評価(モデルごとに公式推奨ハーネス)。内部ベンチマーク(Table 3)では 24/7 ClawBench・MIRA Bench・Kimi Work 等でハーネスを固定。 - **社内評価**: Kimi Code Bench 2.0・Kimi Webdev Bench(ブラインド専門家評価)・24/7 ClawBench 2.0・MIRA Bench・KAET・CLIF Bench・Swarm Bench・Deep Research Bench 等、公開ベンチマークが十分にカバーしないコーディング経験・汎用エージェント経験・会話経験を測定。 - **サイバーセキュリティ評価**: 2段階(脆弱性発見/PoC 開発、エンドツーエンド exploit 開発)。Anthropic・OpenAI のフロンティアモデルはサイバー関連タスクを拒否するため比較対象から除外。 ## 実験結果 - **主要ベンチマーク(Table 2)**: GPQA Diamond 93.5%(Fable5比僅差)。DeepSWE 67.5(Fable5・GPT-5.6 Solに次ぐ3位)。ProgramBench 77.8(**首位**)。SWE-Marathon 42.0(Fable5比+7pt、GPU カーネル指向スイートで**首位**)。FrontierSWE 81.2(Fable5に次ぐ2位)。BrowseComp 91.2%(**首位**)。DeepSearchQA F1 95.0(**首位**)。MCPMark-Verified 94.5(**首位**)。AutomationBench 30.8(**首位**)。OmniDocBench 91.1(**首位**)。HLE-Full は 43.5/56.0(ツールなし/あり)で Fable5・GPT-5.6 Sol に劣後、CritPt 23.4 も4モデル中最下位級——research-level 推論は改善余地として明記される。 - **内部評価(Table 3)**: Swarm Bench 76.3・Deep Research Bench 90.0 で明確首位(オーケストレーション・研究型エージェンシーが強み)。Kimi Webdev Bench では Claude Opus 4.8 に対しブラインド専門家評価で総合 +31.0pt(Win 58.6% / Lose 27.6%)、3D/WebGL/Shader ドメインで +59.1pt。一方 Agent Behavior Bench・MIRA Bench・24/7 ClawBench 2.0・Agentic Vision Bench・KWV Bench では上位に劣後。 - **サイバーセキュリティ**: Tier1(脆弱性発見)で候補脆弱性のうち人手レビュー通過分の約70%が真正と確認され、6プロジェクトで16件の未知脆弱性(Linux カーネルの remote heap out-of-bounds write・Dirty-COW 級 RDMA 権限昇格を含む)を発見。Tier2(exploit 開発)は36タスク中14件(38.9%、GLM-5.2は8件22.2%)を解決したが、その大半(14件中10件)はユーザー空間トラックで、カーネルトラックは両モデルとも4分の3が未解決。UK AI Security Institute・NIST CAISI の独立評価もこの傾向を追認(ExploitBench 32% vs GLM-5.2の24%、41タスク中0件で任意コード実行達成)。 - **第三者評価**: Artificial Analysis Intelligence Index v4.1 で 580モデル中4位(57.1、Fable5=59.9、GPT-5.6 Sol=58.9 に次ぐ)。Vals AI Vals Index で39モデル中2位。WebDev Arena で99モデル中**1位**(1,678 Elo、オープンモデル初のトップ)。 - **コスト効率**: Kimi Code Bench 2.0 で Fable5比 -4.0pt を38%のコストで達成。BrowseComp では最高スコア(91.2%)を$2.03/タスクで、GPT-5.6 Solの半額。GDPval-AA v2 では GPT-5.6 Sol比 -50 Elo を13%低いコストで、Fable5比 2.6倍安価。 **Figure 13: 4スイートでのスコア対タスクあたり推論コスト** ![[_attachments/k3_tech_report/fig13-cost-efficiency.png]] (Figure 13. Kimi Code Bench 2.0・BrowseComp・GDPval-AA v2・AA-Briefcase の4スイートで、Kimi K3(★)がコスト効率フロンティア上またはその近傍に位置することを示す散布図。Source: Adapted from Kimi K3 Technical Report Figure 13.) ## 考察 Kimi K3 は「フロンティアに僅差で劣後しつつ全方位で他モデルを上回る」という一貫したポジショニングを示す。特に research-level 推論(CritPt・HLE-Full)でギャップが最も大きく、コーディング・エージェント・ビジョンではほぼ肩を並べる。ケーススタディ(GPU カーネル最適化・MiniTriton コンパイラ開発・48時間チップ設計・391件の重力波イベント解析)は、モデルの実用的なエージェント能力がベンチマークスコア以上であることを示唆する材料として提示されるが、いずれも Moonshot AI 自身による実施であり第三者検証を経ていない。サイバーセキュリティ評価は「防御的研究には有用だが、ハードニングされた対象への完全な exploit chain 構築は依然として人間専門家に劣る」という限定的な結論を示す。 ## 強み / 弱点・課題 **強み** - コーディング・エージェント系ベンチマークでのコスト効率(フロンティア級スコアを数分の1〜数十分の1のコストで達成) - オーケストレーション・研究型タスク(Swarm Bench・Deep Research Bench)での明確な優位 - Web 開発の専門家評価で Claude Opus 4.8 に対し統計的に明確な優位(+31.0pt) - WebDev Arena での人間選好トップランク(オープンモデル初) **弱点・課題(論文の自認)** - Research-level 推論(CritPt・HLE-Full)で依然としてギャップが大きい - 思考履歴への感度: 不完全な思考コンテンツの受け渡しで品質が不安定化しうる(§ の直接記述はブログ版由来、技術レポートは Agent Behavior Bench・MIRA Bench 等での劣後という形で間接的に示す) - サイバーセキュリティの exploit 開発でハードニングされたターゲットへの完全なチェーン構築が未解決(4つの再発する失敗モード: 最終段階の完遂困難・戦略選択の誤り・デバッグループへの陥落・提出前検証不足) - カーネルトラックの exploit 開発は両モデルとも4分の3が未解決——人間専門家水準への明確なギャップ ## 出典 - [[.raw/papers/k3_tech_report.pdf]] / [[.raw/papers/k3_tech_report.txt]](本ページの一次データ。技術レポート全文) - [[.raw/articles/kimi-k3-2026-07-20.md]](2026-07-20 時点の公式ブログ要約。技術レポート公開前の暫定情報源、現在は本ページの記述で裏取り済み)