# Q&A: DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Navigation: [[index]] | [[wiki/sources/@2026__TechReport__DeepSeek-V4.1-Flash - Pushing the Limits of KV Cache Compression|DeepSeek-V4.1-Flash Tech Report(source)]] 対応する source ページについての軽い質問と回答を、日付ごとに蓄積するノート。深掘りが必要になった問いは `wiki-thesis` や `wiki-query` へ昇格させ、その旨をここに一行残す。 ## 2026-09-11 **Q. グローバルKVキャッシュサイズはなぜそんなに圧縮できるのか？** グローバルKVキャッシュ(トークンあたり890バイト、DeepSeek-V4-Flash比で約1/4)がこれほど縮むのは、単一のトリックではなく、KVキャッシュのコストを決める3つの独立した(乗法的に効く)次元を同時に削っているからである。 1. **エントリサイズの削減(精度)**: 主KVキャッシュをFP4(MXFP4形式、E2M1+16チャネルごとのE4M3スケール)にし、post-trainingのQATで適応させている。DeepSeek-V4のFP8主KVと比べてこれだけでストレージがほぼ半減する。SWA KVは量子化に敏感なのでFP8のまま残しており、精度と圧縮のバランスを取っている。 2. **系列方向の圧縮(スパース化)**: CSA2(Compressed Sparse Attention 2)がHierarchical Sparse Indexerと組んで、全トークンを毎回スコアリングせず、Top-K候補プールの中だけを再スコアリングする。これにより保持すべきKVエントリの数自体を絞り込む。 3. **レイヤー方向の再利用**: CSA2の新規性の核で、各層をFull・Reindex・Reuseの3モードに静的に割り当て、直近のFullモード層で計算したmain KVとインデクサKを後続の層が使い回す(Reuseモードではmain KVとTop-Kインデックスの両方を丸ごと再利用し、その層では計算しない)。従来手法(IndexCacheやYOIOなど)はインデックス再利用かキャッシュ共有かの一方しかカバーしていなかったが、CSA2はこの2つを分離してどちらも同時に効かせている点が新しい。 つまり「1トークンあたりのバイト数(精度)× 保持するトークン数(系列圧縮)× 実際に個別計算する層数(レイヤー再利用)」を掛け合わせて減らしており、単一次元の改善よりも複合的に効くため、世代を追うごとの縮小率(V1→V3.2→V4-Flash→V4.1-Flashで437倍)が加速している。なお、CEDアーキテクチャ自体は主にprefillの計算量削減(decoder側KVをencoder隠れ状態から直接射影)に効くもので、グローバルKVサイズの削減そのものには直接寄与しない点は注意が必要。 ## 出典 - [[wiki/sources/@2026__TechReport__DeepSeek-V4.1-Flash - Pushing the Limits of KV Cache Compression|DeepSeek-V4.1-Flash Tech Report]]