# Attention Residuals (AttnRes) [[Moonshot AI]] が [[Kimi K3]] で導入したアーキテクチャ要素。標準残差接続が深さ方向の全先行情報を単一状態 $h_l$ に圧縮する O(1) ボトルネック(時間方向における RNN のボトルネックに類比)を持つのに対し、Transformer が注意機構で系列方向のこの問題を解いたのと同じ発想を深さ方向に適用する: 各層が学習可能な擬似クエリ $q_l = w_l$ を用いて、埋め込みと全先行層の出力に softmax カーネル $\phi(q,k) = \exp(q^\top \mathrm{RMSNorm}(k))$ でアテンションし、データ依存の重みで選択的に情報を検索する。 **Full AttnRes** は計算量 O(L²d)・メモリ O(Ld) で、層数が小さい(L<100)場合は許容範囲。**Block AttnRes** はこれを N=8 ブロック(K3 では 1ブロック12層、9ブロック目は端数)に分割し、ブロック内層出力の総和 $b_n$ をブロック代表として扱うことで、メモリ・通信オーバーヘッドを O(Ld) から O(Nd) に削減する。実装面では、ブロック代表を境界層で一度だけ生成しチェックポイント全体をラップすることで通常の残差アーキテクチャと同じアクティベーション量に抑え、パイプライン並列間はキャッシュベースの通信(新規生成ブロックのみ転送)で理論的下限のメモリフットプリントを達成する。推論では、バッチ間パス(ブロック代表を1回だけ読む)とブロック内オンラインsoftmaxマージの2フェーズカーネルで最適化する。 投機的デコードのドラフトモデル(EAGLE-3型)は、AttnRes の1番目・4番目・最終ブロック出力を低・中・高レベル特徴として融合入力に用いる。 ## 関連 - エンティティ: [[Moonshot AI]] / [[Kimi K3]] / [[Kimi Delta Attention]] - ソース: [[@2026__Moonshot AI__Kimi K3 - Open Frontier Intelligence]]