# Attention Residuals (AttnRes) [[Moonshot AI]] が [[Kimi K3]] で導入したアーキテクチャ要素。ブログ発表では「層の深さにおける選択的表現検索を実現する」と説明されるが、具体的な数式・適用層・[[Kimi Delta Attention]](KDA)や [[Multi-Head Latent Attention|MLA]] との組み合わせ方は、2026-07-27 予定の技術レポート公開時点では未公開。 記事内では GPU カーネル最適化のユースケース例(H200・GPGPU 上での AttnRes・KDA・512-head MLA の 4 タスク処理)で言及されており、K3 のアテンション層設計の一部として KDA・MLA と併用されることが示唆される。 ## 関連 - エンティティ: [[Moonshot AI]] / [[Kimi K3]] / [[Kimi Delta Attention]] - ソース: [[@2026__Moonshot AI__Kimi K3 - Open Frontier Intelligence]] ## 未解決の問い - Attention Residuals の具体的な機構(残差接続の対象・層間結合方法)は技術レポート公開後に要確認。