# KVBM (KV Block Manager) 概要(NVIDIA Dynamo 公式ドキュメント)
Navigation: [[index]] | [[NVIDIA Dynamo]]
[[NVIDIA Dynamo]] 公式ドキュメントの Knowledge Base 配下にある KVBM(KV Block Manager)の概要ページ(`docs/dev/knowledge-base/modular-components/kvbm/overview`)。トップレベル概要のみを取り込み、下位ページ(KVBM Guide・KVBM Design・KV Cache Offloading 比較・SGLang HiCache)は未取り込み。(Source: [[.raw/articles/kvbm-overview-2026-08-19.md]])
## 定義と位置づけ
Dynamo KV Block Manager(KVBM)は、異種・分散環境をまたいで推論タスク向け KV(キー・バリュー)ブロックのメモリ割り当て・管理・リモート共有を担うスケーラブルなランタイムコンポーネントである。[[vLLM]] や [[TensorRT-LLM]] のようなフレームワークに対する統合メモリ層・write-through キャッシュとして機能する。(Source: [[.raw/articles/kvbm-overview-2026-08-19.md]])
KVBM が提供する主要機能は以下の3点である:
- **統一メモリ API**: GPU メモリ、ピン留めホストメモリ、リモート RDMA アクセス可能メモリ、ローカル/分散 SSD、リモートファイル・オブジェクト・クラウドストレージを横断する単一 API
- **ブロック生存周期の管理**: allocate(割り当て)→ register(登録)→ match(マッチング)というイベントベースの状態遷移
- **[[NIXL]] との統合**: リモート登録・共有・アクセスを担う動的メモリ交換層としての NIXL 連携
## KV キャッシュオフロードを使うべき場面
KV キャッシュオフロードは高コストな再計算を回避し、応答時間とユーザー体験を改善する。プロバイダ側はスループット向上とトークンあたりコスト低下の恩恵を受ける。CPU/ストレージへのオフロードは、KV キャッシュが GPU メモリ容量を超え、かつキャッシュ再利用の利得が転送オーバーヘッドを上回る場合に最も有効であり、特に以下の場面で価値を持つ。
| シナリオ | 利点 |
|---|---|
| 長期セッション・マルチターン会話 | 大規模プロンプトプレフィックスを保持し再計算を回避、初トークン遅延とスループットを改善 |
| 高並行性 | アイドル・部分的な会話を GPU メモリから退避し、アクティブなリクエストがメモリ上限に達せず処理を継続できる |
| 共有・反復コンテンツ | システムプロンプトやテンプレートなど、ユーザー・セッションをまたいだ再利用でキャッシュヒット率が向上する(リモート/クロスインスタンス共有で特に顕著) |
| メモリ・コスト制約環境 | RAM/SSD へのオフロードで GPU 需要を削減し、追加ハードウェアなしでより長いプロンプトや多くのユーザーに対応できる |
(Source: [[.raw/articles/kvbm-overview-2026-08-19.md]])
## Feature Support Matrix
| 分類 | 項目 | 対応 |
|---|---|---|
| Backend | Local | ✅ |
| Backend | Kubernetes | ✅ |
| LLM Framework | vLLM | ✅ |
| LLM Framework | TensorRT-LLM | ✅ |
| LLM Framework | SGLang | ❌ |
| Serving Type | Aggregated | ✅ |
| Serving Type | Disaggregated | ✅ |
[[SGLang]] は KVBM 非対応であり、代わりに独自の階層キャッシュ機構 HiCache を NIXL と直接連携させる別経路(SGLang HiCache ページ)を持つとドキュメント内でリンクされている(未取り込み)。(Source: [[.raw/articles/kvbm-overview-2026-08-19.md]])
## アーキテクチャ(3層構成)
![[_attachments/kvbm-overview/fig01-architecture.svg]]
(KVBM の3層アーキテクチャ図。上から LLM 推論ランタイム層、KVBM ロジック層、NIXL 層の積層構造と、NIXL 層が繋ぐ GPU HBM・Host DRAM・Remote DRAM・Local SSD・Cloud Storage へのインターフェースを示す。Source: KVBM Architecture 図、NVIDIA Dynamo 公式ドキュメント)
KVBM は3つの論理層で構成される。
**LLM 推論ランタイム層(最上層)**: TensorRT-LLM・vLLM などの推論ランタイムが、専用コネクタモジュールを介して Dynamo KVBM と統合する。コネクタは翻訳層として機能し、ランタイム固有の操作・イベントを KVBM のブロック指向メモリインターフェースへ写像する。これによりメモリ管理が推論ランタイムから分離され、バックエンドの可搬性とメモリ階層化が可能になる。
**KVBM ロジック層(中間層)**: KV ブロック管理の中核ロジックをカプセル化し、ブロックメモリ管理のランタイム基盤として機能する。KVBM アダプタが異なるランタイムからの受信リクエストの表現・データレイアウトを正規化し、コアのメモリマネージャへ転送する。この層がテーブルルックアップ、メモリ割り当て、ブロックレイアウト管理、生存周期の状態遷移、ブロック再利用/エビクションポリシーを実装する。
**NIXL 層(最下層)**: すべてのデータ・ストレージ取引に対する統一サポートを提供する。NIXL は P2P GPU 転送、RDMA・NVLink 経由のリモートメモリ共有、動的ブロック登録とメタデータ交換を可能にし、GPU HBM・Host DRAM・Remote DRAM・Local SSD を含むブロックメモリ、ローカル/リモートファイルシステム、オブジェクトストア、クラウドストレージといったストレージバックエンドへのプラグインインターフェースを提供する。
(Source: [[.raw/articles/kvbm-overview-2026-08-19.md]])
## 関連ドキュメント(未取り込み)
ページ末尾の Next Steps でリンクされる下位ページ。いずれも本 ingest では取り込んでいない。
- KVBM Guide — インストール・設定・デプロイ手順(`kvbm/kvbm-guide`)
- KVBM Design — アーキテクチャ詳細・コンポーネント・データフロー(`kvbm/kvbm-design`)
- KV Cache Offloading — KVBM と [[LMCache]]・FlexKV・HiCache の比較(`cli/kv-cache-offloading/overview`)
- SGLang HiCache — NIXL を用いた SGLang の階層キャッシュ有効化手順(`modular-components/backends/sg-lang/hi-cache`)
- NIXL Documentation — NIXL 通信ライブラリの詳細(GitHub `ai-dynamo/nixl`)
## 関連
- エンティティ: [[NVIDIA Dynamo]] / [[KVBM (KV Block Manager)]] / [[NIXL]] / [[vLLM]] / [[TensorRT-LLM]] / [[SGLang]]
- 概念: [[KVキャッシュ管理]]
- 公式: https://docs.nvidia.com/dynamo/dev/knowledge-base/modular-components/kvbm/overview