# PagedAttention ## 定義 PagedAttention とは、OS のページング機構に着想を得て KVCache を固定サイズブロック単位で管理し、論理ブロックを非連続な物理 GPU メモリへ写像することで、Batch 推論における KVCache の内部・外部断片化と Padding を削減する手法である。vLLM に実装され、FasterTransformer / Orca に対して同等レイテンシで 2-4 倍のスループット改善を示した。(Source: [[@2023__SOSP__Efficient Memory Management for Large Language Model Serving with PagedAttention]]) ## 横断的知見 - **「ページ化」という比喩は GPU メモリ管理からネットワーク/ストレージ転送へは直接持ち越せない**: vLLM の PagedAttention は 1 GPU 内の内部断片化抑制に最適な小さいブロック粒度を採るが、[[KVキャッシュ管理]] の横断的知見が示すとおり LMCache のようなクラスタ間転送層ではこの粒度は帯域を使い切れず、より大きな chunk へまとめ直す必要がある。GPU 内で有利な設計判断が、そのままクラスタ全体のデータ移動設計に一般化できるわけではない。(Source: [[@2023__SOSP__Efficient Memory Management for Large Language Model Serving with PagedAttention]], [[@2025__arXiv__LMCache - An Efficient KV Cache Layer for Enterprise-Scale LLM Inference]]) - **教育的資料は PagedAttention を「概念」よりも「vLLM 内部実装」として強調する**: 学術論文がブロックテーブルによる仮想メモリ的抽象を中心に説明するのに対し、勉強会資料は「詳しくは vLLM のブログの gif が詳しいが、実際には概念だけでなく vLLM 内部でこれを可能にする実装が偉い(HPC は実装の方が大切)」と実装重視の評価を加える。これは同じ技術でも読者層(研究者 vs 実務エンジニア)によって強調点が変わることを示す。(Source: [[@2023__SOSP__Efficient Memory Management for Large Language Model Serving with PagedAttention]], [[@2026__SpeakerDeck__LLM高速化(勉強会)]]) ## 未解決の問い - GPU 内ページサイズと外部転送 chunk サイズの最適な対応関係は、モデル構成やネットワーク条件にどう依存するか([[KVキャッシュ管理]] にも記載の未解決の問いと共通)。 - ハイブリッドアテンション(Mamba state 等)を持つモデルへ PagedAttention の抽象をどう拡張すべきか。 ## 関連 - 隣接 concept: [[KVキャッシュ管理]] / [[LLM推論]] / [[Prefill-Decode分離]] - 関連 entity: [[vLLM]] - ソース: [[@2023__SOSP__Efficient Memory Management for Large Language Model Serving with PagedAttention]] / [[@2026__SpeakerDeck__LLM高速化(勉強会)]] ## 出典 - [[@2023__SOSP__Efficient Memory Management for Large Language Model Serving with PagedAttention]] — 原典。ブロックテーブルによる KVCache 仮想メモリ化 - [[@2026__SpeakerDeck__LLM高速化(勉強会)]] — 実装重視の解説、KVCache ブロック管理の図解