スパース注意 - yuuk1's Digital Garden

# スパース注意 ## 定義スパース注意(Sparse Attention)とは、各デコードステップで KV キャッシュ全体ではなく top-k 等で選ばれた一部分のみに注意を向けることで、通常の自己注意が持つ二次の計算・I/O コスト増大を回避しながらモデリング能力を維持する手法である。DeepSeek Sparse Attention(DSA)はその代表例であり、[[DeepSeek-V3.2]] や GLM-5.1 系列に採用されている。(Source: [[@2026__LMSYS Blog__HiSparse - Turbocharging Sparse Attention with Hierarchical Memory]]) ## 横断的知見 - **スパース注意は計算量を削減しても、メモリ容量ボトルネックを解消しない**: top-k 選択によりあるデコードステップで active な KV エントリはごく一部でも、高速アクセスのためフルコンテキスト分の KV キャッシュを GPU HBM 上に保持し続ける必要がある。このため、スパース注意を採用したサービングシステムはしばしば compute-bound ではなく **capacity-bound** になり、達成可能なバッチサイズとスループットの上限がメモリ容量で決まる。HiSparse はこの capacity-bound な特性を、フルコンテキストをホストメモリへ退避し GPU HBM 上に「hot device buffer」だけを残す階層メモリ設計で緩和し、並行数256でベースライン比3倍超、長文脈シナリオで最大5倍のスループット改善を報告した。(Source: [[@2026__LMSYS Blog__HiSparse - Turbocharging Sparse Attention with Hierarchical Memory]]) - **スパース注意向けのキャッシュエビクションは、通常の LRU がそのまま有効に機能する**: [[KVキャッシュ管理]] の横断的知見では、Aliyun 本番トレース(KVCache Cache in the Wild)が「KV ブロック寿命は短命かつ予測可能で LFU は不適切、LRU も最適でない」ことを示していたが、HiSparse の top-k キャッシュミス問題では逆に、hot device buffer サイズの拡大(2048→4096)と LRU 退避方針の組み合わせが FIFO・Random より一貫してミスカウントを削減した。両者の対象(リクエスト間でのブロック再利用 vs 単一デコード内での top-k アクセスパターン)が異なるため、どのポリシーが有効かはキャッシュされる対象の時間粒度に依存する可能性がある。(Source: [[@2026__LMSYS Blog__HiSparse - Turbocharging Sparse Attention with Hierarchical Memory]]) - **「スパース注意」という同じ名前が、推論時のキャッシュ選択(HiSparse・DSA)と訓練時の計算量削減(Big Bird)という異なる問題に対する解として使われている**: 本ページが扱うDeepSeek Sparse Attention(DSA)は、モデル自体はフル注意相当の能力を前提としつつ、デコードステップごとにKVキャッシュの一部だけをtop-kで動的に選んで読み込むことで推論時のI/O・メモリ容量コストを削減する手法である。一方、[[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4が紹介するBig Birdは、ランダム注意・近傍注意・グローバル注意という3種類の固定的な疎接続パターンをアーキテクチャそのものに組み込み、訓練・推論の両方でO(N)の計算量に抑える設計である。DSAの疎性は「どのKVを読むか」を入力ごとに動的に(学習された注意スコアで)決めるのに対し、Big Birdの疎性は「どの位置とどの位置が接続されるか」を訓練前に静的に固定する。両者を並べると、「スパース注意」は単一の技法ではなく、(1) 静的な接続パターンの疎化によるO(N)化(Big Bird系)と、(2) 密な接続を前提にした上での動的な読み出し先の疎な選択によるI/O削減(DSA系)という、少なくとも2つの異なる設計軸を持つ用語であることが分かる。(Source: [[@2026__LMSYS Blog__HiSparse - Turbocharging Sparse Attention with Hierarchical Memory]], [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4) - **Sparse Transformer(Child et al., 2019)が提案した strided attention・fixed attention という2種類の静的パターンは、GPT-3 に採用された「静的な疎化」の最初期の実装例であり、本ページが既に挙げる Big Bird(ランダム・近傍・グローバルの3種)の直接の先行研究にあたる**。『原論文から解き明かす生成AI』第4章は、GPT-3 が「密な注意層と局所帯状の疎な注意層を交互に使う」とだけ簡潔に記す原論文の記述を受け、Sparse Transformer 原論文まで遡って strided attention($A_{2,i} = \{j : (i-j) \bmod \ell = 0\}$、周期的構造向け)と fixed attention($A_{1,i}$ はブロック内、$A_{2,i}$ はブロック末尾 $c$ 個、周期性のないテキスト向け)の定式化を読み解いている。テキストが対象の GPT-3 では周期性を仮定しない fixed attention がチューニングされて使われているとみられ、これは本ページが記す「静的な接続パターンの疎化による $O(N)$ 化(Big Bird系)」という設計軸が、Big Bird 以前の 2019 年時点で GPT-3 によって既に実用化されていたことを示す。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4.2.1, [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4) - **Miao+ サーベイの 4 分類taxonomy(Selective・Sliding+Dilated・Global token・Hash-based)は、本ページ既存の「静的パターン(Big Bird 系)対動的読み出し選択(DSA 系)」という 2 軸フレームでは捉えきれない第 3 の軸(ハッシュベースのクラスタリング)を明らかにする**: [[@2025__ACM Computing Surveys__Towards Efficient Generative Large Language Model Serving - Chapter 3.1 Taxonomy - Algorithmic Innovation]] Table 1 は、Selective(Scissorhands・H2O のような入力ごとの動的 top-k 選択、DSA 系に近い)と Sliding+Dilated・Global token(Mistral-7B のスライディングウィンドウ・StreamingLLM のアテンションシンクのような、位置に基づく比較的静的なパターン、Big Bird 系に近い)に加えて、Hash-based(Reformer・Routing Transformer)という第 3 のカテゴリを立てる。ハッシュベース手法は学習されたハッシュ/ルーティング関数でトークンをバケット化するため、Big Bird のような「訓練前に固定された位置的パターン」でも、DSA のような「デコードステップごとに動的に読み出し先を選ぶ」でもなく、系列全体に対して 1 回だけ(準静的に)クラスタリングを行うという中間的な性質を持つ。このことは、本ページが挙げてきた「静的対動的」という 2 軸フレームが、注意単純化手法の全体像を尽くしていないことを示す。(Source: [[@2025__ACM Computing Surveys__Towards Efficient Generative Large Language Model Serving - Chapter 3.1 Taxonomy - Algorithmic Innovation]], [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4) - **同じ StreamingLLM・Scissorhands・H2O が、既存ソース(HiSparse)ではデコード時の KV キャッシュエビクション技術として、Miao+ サーベイでは「グローバルトークン」「セレクティブ」というアテンションパターンの適用例として、異なる粒度で言及される**: HiSparse の文脈ではこれらは「どの KV ブロックを退避・保持するか」というキャッシュ管理の問題として扱われるのに対し、Miao+ は「どのクエリ・キー位置間の接続を計算するか」というアテンション計算そのものの疎化パターンとして分類する。両者は同じ手法群を指しながら、キャッシュ管理層とアテンション計算層という異なるレイヤーの問題として整理されており、スパース注意という概念がこの 2 層にまたがる技法群であることを裏付ける。(Source: [[@2025__ACM Computing Surveys__Towards Efficient Generative Large Language Model Serving - Chapter 3.1 Taxonomy - Algorithmic Innovation]], [[@2026__LMSYS Blog__HiSparse - Turbocharging Sparse Attention with Hierarchical Memory]]) - [定義] DeepSeek-V4.1-Flash の Compressed Sparse Attention 2(CSA2)は、KV キャッシュ削減をエントリサイズ・系列方向圧縮・レイヤー方向再利用という 3 つの乗法的次元で同時に狙う設計で、main KV とインデクサ K のレイヤー横断共有と Top-K インデックス再利用を分離して扱う(Full/Reindex/Reuse の 3 モード)。DeepSeek-V4 の CSA-HCA ハイブリッドから、単一の CSA2 のみを使う構成へ単純化された(Source: [[@2026__TechReport__DeepSeek-V4.1-Flash - Pushing the Limits of KV Cache Compression]])。 - Hierarchical Sparse Indexer は、decoder の最初の Full Mode 層が可視範囲全体をスコアリングして候補プール(例: 2,048 ブロック×8 位置)を構築し、後続の Reindex Mode 層はこのプール内のみを再スコアリングすることで、後続インデクサのクエリあたりコストを文脈長非依存の定数に抑える(Source: [[@2026__TechReport__DeepSeek-V4.1-Flash - Pushing the Limits of KV Cache Compression]])。 ## 未解決の問い - HiSparse は DeepSeek Sparse Attention(DSA)を用いるモデルファミリ(DeepSeek-V3.2、GLM-5.1)にのみ対応する実験的機能であり、他のスパース注意方式(例: StreamingLLM、SnapKV 等のトークン破棄系)や、[[SCBench]] が指摘した sub-O(n) メモリ手法のマルチターン破綻問題との関係は未検証。 - 低並行数で HiSparse がベースラインを下回る(スパース KV ロードの追加 I/O がメモリ節約効果を上回る)条件の閾値は、モデルサイズ・top-k・ホスト-デバイス帯域にどう依存するか。 - ハイブリッドモデル(注意とその他の機構を混在させるアーキテクチャ)への拡張が Future Work として予告されているが、対応方式は未公開。 - Big Bird系の静的な疎接続パターンとDSA系の動的なtop-k選択は、精度・計算効率・実装の複雑さでどのようなトレードオフを持つか。両者を組み合わせた設計(静的パターンで大枠を決め、動的選択で微調整する)は提案されているか。 - CSA2 の Hierarchical Sparse Indexer による候補プール絞り込みは、Big Bird 系の静的疎パターンや HiSparse の階層メモリとどのように異なる精度-計算量トレードオフを持つか、直接比較は本論文では行われていない。 ## 関連 - ソース: [[@2026__LMSYS Blog__HiSparse - Turbocharging Sparse Attention with Hierarchical Memory]] / [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] / [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] / [[@2025__ACM Computing Surveys__Towards Efficient Generative Large Language Model Serving - Chapter 3.1 Taxonomy - Algorithmic Innovation]] - エンティティ: [[SGLang]] / [[LMSYS]] / [[DeepSeek-V3.2]] / [[Big Bird]] - 概念: [[KVキャッシュ管理]] / [[メモリ階層とキャッシュ]] / [[注意機構]] / [[Transformer]] ## 出典 - [[@2026__LMSYS Blog__HiSparse - Turbocharging Sparse Attention with Hierarchical Memory]](HiSparse: 階層メモリによるスパース注意の容量ボトルネック緩和、LMSYS Blog 2026-04-10) - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第4章, §4.4. - 菊田遥平, 『原論文から解き明かす生成AI』, 技術評論社, 2025, 第4章 §4.2.1. - [[@2025__ACM Computing Surveys__Towards Efficient Generative Large Language Model Serving - Chapter 3.1 Taxonomy - Algorithmic Innovation]](Table 1: Comparisons of Attention Simplification Methods、ACM Computing Surveys 2025)