# Kimi K3 [[Moonshot AI]] が 2026-07-17 に発表した総パラメータ 2.8 兆・コンテキストウィンドウ 100 万トークンの LLM。「世界初のオープンな 3T クラスモデル」と位置づけられ、ネイティブビジョン機能とデフォルト最大思考努力モードを持つ。モデルウェイト・技術レポートは 2026-07-27 に公開予定。 ## アーキテクチャ - [[Kimi Delta Attention]](KDA): [[Kimi Linear]] で導入された線形アテンションの発展形。512-head [[Multi-Head Latent Attention|MLA]] と組み合わせて使用。 - [[Attention Residuals]](AttnRes): 層の深さにおける選択的表現検索の機構(詳細未公開)。 - [[Stable LatentMoE]]: 896 エキスパートから 16 を活性化する疎性 MoE アーキテクチャ(スパーシティ 56)。[[Kimi K2]] の 384 エキスパート/活性化 8(スパーシティ 48)から拡大。 MXFP4 重み・MXFP8 活性化による量子化認識訓練を SFT 段階から適用。前世代比で約 2.5 倍のスケーリング効率改善を主張する。 ## 訓練・推論技術 Per-Head Muon(アテンションヘッド単位の最適化)、Quantile Balancing(ルータスコア分位数によるエキスパート割り当て)、Sigmoid Tanh Unit(SiTU、活性化関数)を採用。vLLM コミュニティへ KDA 対応プレフィックスキャッシュを寄与し、コーディング作業でキャッシュヒット率 90% 以上を達成。 ## 性能 DeepSWE v1.1(mini-SWE-agent)で 67.3。コーディングベンチマーク群で Claude Fable 5・GPT-5.6 Sol 以外を上回るが、全体性能は最強のプロプライエタリモデルに劣ると自認する。 ## 関連 - [[Moonshot AI]] — 開発企業 - [[Kimi K2]] — 前世代モデル(1.04T、384 エキスパート) - [[Kimi Linear]] — KDA の初出モデル(48B) - [[Kimi Delta Attention]] / [[Attention Residuals]] / [[Stable LatentMoE]] — アーキテクチャ構成要素 - [[@2026__Moonshot AI__Kimi K3 - Open Frontier Intelligence]] — 出典