# Kimi K3: Open Frontier Intelligence ## 出典情報 - **著者/発行**: [[Moonshot AI]](Kimi) - **公開日**: 2026-07-17 - **URL**: https://www.kimi.com/blog/kimi-k3 - **形態**: 公式ブログ記事(技術レポート本体は 2026-07-27 公開予定、未取得) > [!note] 取得上の制約 > `kimi.com` はサンドボックスのネットワーク許可リストに含まれず、`curl`/`defuddle` による直接取得ができなかった。WebFetch(Claude 経由)はコピーライト制約により逐語抽出を拒否し、構造化要約のみを返した。そのため本ページの記述は一次資料の逐語引用ではなく AI による抽出要約に基づく。数値・固有名詞は極力そのまま転記したが、技術レポート公開後(2026-07-27 予定)に一次資料で裏取りする必要がある。 ## 概要 [[Moonshot AI]] が 2026-07-17 に発表した [[Kimi K3]] は、総パラメータ 2.8 兆(活性化パラメータは記事内に明記なし)・コンテキストウィンドウ 100 万トークンの LLM。記事は「世界初のオープンな 3T クラスモデル」と位置づけ、長時間のコーディング・知識作業・推論への対応とネイティブビジョン機能を謳う。デフォルト推論モードは最大思考努力モード。過去 12 ヶ月のうち 9 ヶ月で Kimi モデルがオープンモデルサイズの上限を更新してきたスケーリング系譜の最新ステップと自己位置づけする。 ## アーキテクチャ 記事が挙げる 3 つの新規アーキテクチャ要素: 1. **[[Kimi Delta Attention]](KDA)**: 「情報フローを改善するための建築的更新」。[[Kimi Linear]](2025-10 公開、48B)で導入された [[Gated DeltaNet]] 系のチャネルワイズゲート線形アテンションの系譜にあり、K3 では 512-head MLA と組み合わせて使われる(§ユースケース参照)。 2. **[[Attention Residuals]](AttnRes)**: 層の深さにおける選択的表現検索を実現するとされるが、記事は具体的な機構(残差の取り方・適用層)を説明していない。 3. **[[Stable LatentMoE]]**: 「896 の専門家から 16 を効果的に活性化」する疎性アーキテクチャ。NVIDIA が [[Nemotron 3]] で提案した [[LatentMoE]](潜在次元へ射影しエキスパート計算・通信を削減する設計)と名称が類似するが、記事からは Moonshot AI 独自の別設計か NVIDIA 方式の採用かは判別できない。エキスパート数 896・活性化 16(スパーシティ 56)は [[Kimi K2]] の 384 エキスパート・活性化 8(スパーシティ 48)から大幅増。 前世代比で「約 2.5 倍の全体的スケーリング効率改善」を達成したと主張する。 ### 量子化戦略 MXFP4 重み・MXFP8 活性化を採用しハードウェア互換性を確保。SFT(教師ありファインチューニング)段階から量子化認識訓練(quantization-aware training)を適用する。 ### 訓練手法 - **Per-Head Muon**: アテンションヘッドごとの個別最適化により大規模での適応学習を実現。[[Moonshot AI]] は [[Kimi K2]] で [[MuonClip]](Muon + QK-Clip)、他ソースでは [[Sharded Muon]]・[[NorMuon]] という Muon 系オプティマイザの系譜を持つ。Per-Head Muon はその最新のバリアントと位置づけられるが、詳細な数式は記事に記載がない。 - **Quantile Balancing**: ルータスコアの分位数からエキスパート割り当てを導出する負荷分散手法。[[Mixture-of-Experts]] の負荷分散系譜(重要度損失・負荷損失・補助損失なし動的バイアス・シグモイドゲーティング等)に新たに加わる手法。 - **Sigmoid Tanh Unit(SiTU)**: 活性化制御を改善するとされる活性化関数。詳細な定義は記事になし。 ## 推論インフラストラクチャ - **プレフィックスキャッシュ**: vLLM コミュニティへ KDA 対応プレフィックスキャッシュ実装を寄与。コーディング作業でキャッシュヒット率 90% 以上を達成し、「競争力のあるトークン価格」でのサービス提供を実現するとする。 - **推奨デプロイ**: 64 以上のアクセラレータを備えたスーパーノード構成。 - **専門家並列**: 静的形状・重要パスの同期なしのバランス型エキスパート並列を採用。 ## ベンチマーク結果 | ベンチマーク | 結果 | |---|---| | DeepSWE v1.1(mini-SWE-agent) | 67.3 | | コーディングベンチマーク群 | [[Claude]] Fable 5・GPT-5.6 Sol 以外のモデルを上回る | | 知識作業(内部評価) | 一貫した改善 | | マルチモーダルタスク | 視覚推論能力を強調(詳細数値なし) | 記事自身が「全体的パフォーマンスは最も強力な独有モデルに未だ劣る」と明言している。比較対象として挙げられるモデル: Claude Fable 5([[Anthropic]])、GPT 5.6 Sol / GPT 5.5([[OpenAI]])、Claude Opus 4.8、GLM-5.2([[Zhipu AI]])。 ## 利用可能性と料金 - **アクセス**: Kimi.com(ウェブ)、Kimi Work(デスクトップ 3.1.0 以上)、Kimi Code(ターミナル)、Kimi API Platform。 - **API 料金**: キャッシュヒット入力 $0.30/MTok、キャッシュミス入力 $3.00/MTok、出力 $15.00/MTok。 - **エンタープライズ**: Kimi Enterprise が組織向けデータプライバシー機能を提供。 - **リリース**: モデルウェイト・技術レポートともに 2026-07-27 公開予定。オープンソースとして初の 3T クラスモデルと位置づける。 ## 主要ユースケース(記事の事例紹介) ### コーディング 1. **GPU カーネル最適化**: H200・GPGPU 上で AttnRes・KDA・512-head MLA を含む 4 タスクを処理。 2. **GPU コンパイラ開発**: MiniTriton(Triton ライクコンパイラ)の構築。 3. **ゲーム開発**: 3D 推論とビジョン機能を活用した双方向開発。 4. **チップ設計**: 48 時間以内に自社用チップを自律設計。 5. **研究コーディング**: 「2 時間で 1〜2 週間相当の作業」を主張。 ### 知識作業 - インタラクティブ可視化レポート生成。 - 42 年分の ASIC 産業分析(120 回超の自己改善ループ)。 - 融資業界レポート作成。 - 重力波イベント分析(391 イベント、20 以上のサブエージェントを並行処理)。 ### ビデオ編集 「3Blue1Brown 風のモーショングラフィックス解説」や 56 クリップからの編集を実行。通常 1〜2 営業日の作業を自動化すると主張。 ## 制限事項(記事の自認) 1. **思考履歴への感度**: 「特定のモード全体でのトレーニング」の影響により、不完全な思考コンテンツ渡しで品質が不安定化する。 2. **過度な積極性**: 曖昧なユーザー意図時に予期しない判断を実行する傾向。 3. **ユーザー体験**: 「Claude Fable 5 と GPT 5.6 Sol と比較して顕著なギャップ」を自認。 ## 考察 Kimi K3 は [[Kimi K2]](1.04T、384 エキスパート/活性化 8)から [[Kimi Linear]](48B、KDA + MLA ハイブリッド)を経て、KDA を 2.8T 級モデルに統合した最新形と位置づけられる。エキスパート数を 384→896、活性化を 8→16 に拡大しつつ「Stable」を冠する点は、[[Mixture-of-Experts]] の負荷分散・訓練安定性の系譜(MuonClip の QK-Clip、DeepSeek-V4 の Anticipatory Routing 等)に連なる訓練安定化への配慮を示唆するが、具体的な安定化機構は本記事からは確認できない。技術レポート公開(2026-07-27 予定)後に、アーキテクチャの詳細・ベンチマーク全表・訓練インフラの記述で裏取りする必要がある。 ## 未解決の問い - Stable LatentMoE は NVIDIA の [[LatentMoE]](Nemotron 3)と同一設計か、独自の別設計か。「Stable」が指す安定化機構の具体的な中身。 - Attention Residuals(AttnRes)の具体的な数式・適用層。 - Per-Head Muon と既存の [[MuonClip]]・[[Sharded Muon]]・[[NorMuon]] の関係(置き換えか併用か)。 - Kimi K3 の活性化パラメータ数(総パラメータ 2.8T のみ判明、活性化数は記事に明記なし)。 - 896 エキスパート/活性化 16(スパーシティ 56)が Kimi K2 のスパーシティスケーリング則(スパーシティ 48 で 1.69× FLOPS 節約)の延長線上にあるか。 ## 出典 - [[.raw/articles/kimi-k3-2026-07-20.md]](本ページの一次データ。WebFetch による構造化要約、逐語引用ではない)