# Kimi Delta Attention (KDA) [[Moonshot AI]] が開発した線形アテンション機構。[[Gated DeltaNet]] の改良版で、スカラーゲートをチャネルワイズゲート(各特徴次元に個別の忘却・学習率)に置き換え、長コンテキスト推論の精度改善を狙う。 ## 系譜 - **[[Kimi Linear]](2025-10、48B)**: KDA(3) + [[Multi-Head Latent Attention|MLA]](1) の 3:1 ハイブリッド構成で初出。NoPE(RoPE なし)と組み合わせ、位置情報を KDA ブロックに委ねる設計。Gated DeltaNet-H1 比で同等の生成速度・高いベンチマーク性能、MLA 比で高速な生成速度・同等の精度を達成した。 - **[[Kimi K3]](2026-07、2.8T)**: KDA を 512-head MLA と組み合わせて 2.8T 級モデルへ拡張。vLLM コミュニティへ KDA 対応プレフィックスキャッシュ実装を寄与し、コーディング作業でキャッシュヒット率 90% 以上を達成。「情報フローを改善するための建築的更新」と説明されるが、Kimi Linear からの具体的な変更点(ゲート機構・層構成比)は K3 発表時点で未公開。 ## 意義 Kimi Linear(48B)は「線形アテンションは本番で精度問題がある」として MiniMax-M2 が撤退した後、チャネルワイズゲーティングで精度問題に対処できると主張した。K3(2.8T)での採用は、この主張が Kimi K2(1T)の 1/20 規模の実証実験を超えて大規模モデルでも成立するかの検証事例となる。 ## 関連 - エンティティ: [[Moonshot AI]] / [[Kimi Linear]] / [[Kimi K3]] - 概念: [[Gated DeltaNet]] / [[Multi-Head Latent Attention]] / [[線形注意]] - ソース: [[The-Big-LLM-Architecture-Comparison|The Big LLM Architecture Comparison]] / [[@2026__Moonshot AI__Kimi K3 - Open Frontier Intelligence]]