# Kimi Linear [[Moonshot AI]] が 2025 年 10 月に公開した 48B パラメータの線形アテンションハイブリッド LLM。論文: arXiv:2510.26692。 ## アーキテクチャ Qwen3-Next と同様の 3:1 ハイブリッド設計だが、フルアテンション部分に MLA を採用: ``` Qwen3-Next: KDA(3) + Gated Attention(1) の繰り返し Kimi Linear: KDA(3) + MLA(1) の繰り返し ``` - **KDA(Kimi Delta Attention)**: [[Gated DeltaNet]] の改良版。スカラーゲート → **チャネルワイズゲート**(各特徴次元に個別の忘却・学習率)。長コンテキスト推論の精度改善が目的。 - **MLA(Multi-Head Latent Attention)**: [[Multi-Head Latent Attention]] をグローバルアテンション層として採用。NoPE(RoPE なし)と組み合わせ。位置情報は KDA ブロックに委ねる。 - **NoPE**: MLA 層で位置符号化を適用しない([[NoPE]])。 ## Qwen3-Next との比較 | 設計 | Qwen3-Next | Kimi Linear | |------|------------|-------------| | 線形アテンション | Gated DeltaNet | KDA(チャネルワイズゲート) | | フルアテンション | Gated Attention | MLA | | 位置符号化 | Partial RoPE | NoPE(MLA 層) | | サイズ | 80B-A3B | 48B | ## 性能 Gated DeltaNet-H1 比較で同等の生成速度・高いベンチマーク性能。MLA 比較では高速な生成速度・同等のモデリング精度(DeepSeek-V2 論文アブレーション準拠)。 ただし Kimi K2(1T)の 1/20 のサイズのため、大規模モデルへの KDA 採用は今後の検証課題。 ## 意義 MiniMax-M2 が「線形アテンションは本番で精度問題がある」として撤退した後、Kimi Linear はチャネルワイズゲーティングで精度問題に対処できると主張。線形アテンション復活の可能性を示すが、規模・タスクの検証は今後の課題。 ## 関連 - エンティティ: [[Moonshot AI]] / [[Kimi K2]] - 概念: [[Gated DeltaNet]] / [[Multi-Head Latent Attention]] / [[NoPE]] / [[線形注意]] - ソース: [[The Big LLM Architecture Comparison]]