# LMCache KV キャッシュの管理・転送を担うソフトウェア。[[NIXL]] を利用した P2P データ転送機能で Prefill-Decode Disaggregation（PD Disaggregation）を実現する。 Prefill インスタンスと Decode インスタンス間の NIXL 経由データ転送チャネルとメタデータ交換（ZMQ ベース）を管理し、プロキシサーバー `disagg_proxy_server.py` がユーザーリクエストを Prefiller → Decoder にルーティングする。[[vLLM]] と組み合わせて利用される。 [[UCX]] → [[NIXL]] → LMCache → [[vLLM]] の 4 層スタック構成の中で、KV キャッシュ転送の制御プレーンを担う位置づけにある。処理フローの詳細は [[@2026__さくらのナレッジ__高火力PHYを利用した分散推論基盤の性能検証]] に記述されている。 道下幹也の SpeakerDeck 資料では、LMCache と Mooncake Store を組み合わせ、同一 vLLM インスタンスでの KV Cache Reuse と、異なる vLLM インスタンス間の KV Cache Sharing を検証している。([[@2026__SpeakerDeck__推論基盤のパフォーマンス検証と最適化戦略]]) arXiv 2025 論文 [[@2025__arXiv__LMCache - An Efficient KV Cache Layer for Enterprise-Scale LLM Inference]] では、LMCache は vLLM と SGLang から KV キャッシュを抽出・再読込し、CPU、SSD、リモートストレージ、Redis、RDMA、NVLink などをまたいで扱うオープンソース層として説明される。小さな page 単位では転送帯域を使い切れないため、複数 page を chunk 化し、レイヤ単位の計算 I/O 重畳、zero-copy、dynamic offloading を使う。評価では vLLM と組み合わせて最大 15 倍のスループット改善、少なくとも 2 倍のレイテンシ削減を報告する。 PyTorch Conference 2025 の LMCache + NIXL 資料では、LMCache は [[vLLM]] / [[SGLang]] の GPU 上エンジンと、S3、Mooncake、InfiniStore、Redis などのストレージバックエンドの間に置かれる KV キャッシュ層として描かれる。要求されるセマンティクスは GPU-GPU 転送、GPU-CPU 退避、CPU-CPU 転送、ストレージ退避であり、NIXL が異種ネットワーク/ストレージへの転送抽象を提供する。ストレージ例では `chunk_size: 256`、`nixl_buffer_size: 1073741824`(1GB)、`nixl_buffer_device: cpu` を使い、POSIX と OBJ バックエンドを切り替える。(Source: [[@2025__PyTorchConference__Scaling KV Caches for LLMs - How LMCache + NIXL Handle Network and Storage Heterogeneity]]) [[ContextPilot]](MLSys 2026)は、LMCache を完全一致(exact prefix matching)方式の代表ベースラインとして比較する。MultihopRAG + Qwen3-32B で LMCache の KV キャッシュヒット率はわずか4.6%にとどまり、コンテキストブロックの並び替え(整列)を行う ContextPilot がプリフィルスループットで最大3.08倍上回ったと報告される。(Source: [[@2026__MLSys2026__ContextPilot - Fast Long-Context Inference via Context Reuse]]) ## 関連 - ソース: [[@2026__さくらのナレッジ__高火力PHYを利用した分散推論基盤の性能検証]] / [[@2026__SpeakerDeck__推論基盤のパフォーマンス検証と最適化戦略]] / [[@2025__arXiv__LMCache - An Efficient KV Cache Layer for Enterprise-Scale LLM Inference]] / [[@2025__PyTorchConference__Scaling KV Caches for LLMs - How LMCache + NIXL Handle Network and Storage Heterogeneity]] / [[@2026__MLSys2026__ContextPilot - Fast Long-Context Inference via Context Reuse]] - 関連ソフトウェア: [[vLLM]] / [[NIXL]] / [[UCX]] - 関連概念: [[LLM推論]] / [[KVキャッシュ管理]] / [[Prefill-Decode分離]]