# KVキャッシュ転送コストは再計算に比べて無視できるか > [!abstract] 判定: **partially**(confidence: medium) > wiki のソースは「転送や再読み込みは再計算より安い」までは複数の実測で支持するが、「無視できる」は転送経路がノード内 NVLink で KV が小さいときにしか成り立たない。規模が大きい配備では転送時間そのものが最適化対象になっている。 ## 命題の分解 - 変数: 主語は「プレフィックスキャッシュ再利用時の KV キャッシュ転送(GPU 間、階層ストレージからの読み込みを含む)」、述語は「再計算コストに比べて無視できる」、範囲は無指定(モデル規模、コンテキスト長、転送経路を限定していない)。 - 予測: 命題が真なら、PD 分離やキャッシュ再利用を扱う source は転送時間を測らないか、測っても総レイテンシの 1% 未満と報告し、転送の最適化を主題にしないはずである。 - 反証条件: 転送時間の削減そのものを主要な貢献として報告する source、または転送が TTFT や帯域利用率の支配項になると実測した source が 1 件以上ある。 - 隣接命題: 弱い版「転送は再計算より安い」(本ページの partially はこちらを支持する)。強い版「どの規模、どの経路でも無視できる」(反対の根拠はこちらを崩す)。逆向き「転送は再計算より高い」(本ページの対象外。支持する source は無い)。 ## 根拠表 | 側 | 根拠の要約 | 出典 | 強さ | 備考 | |---|---|---|---|---| | 支持 | OPT-175B のレイテンシ分解で KV キャッシュ転送は総レイテンシの 0.1% 未満、95% 超のリクエストで転送 30 ms 未満(ノード内配置) | [[@2024__OSDI__DistServe - Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving]] レイテンシ分解 | 直接 | ノード内配置が前提 | | 支持 | ホスト側 KVCache バックアップからの復元は再計算比 41.5 倍高速 | [[@2025__arXiv__FailSafe - High-performance Resilient Serving]] 評価表 | 直接 | 障害復旧の文脈。読み込みが再計算より安いことの実測 | | 支持 | Mistral-7B、入力 1K、KV 120 MB の帯域評価で、10G でも約 9 割、100G で約 8 割の TTFT 削減。100 km 離れても短縮効果の変化は 8% | [[@2025__MPLSJapan__A study on accelerating LLM inference using KV cache sharing with IOWN APN]] p.20 | 直接 | 広域でも転送が再計算に勝つ。ただし KV が 120 MB と小さい | | 支持 | 「代替インスタンスへの転送コストが追加 Prefill 時間より小さい場合に転送し保存する」という規則でホットブロックを複製 | [[@2024__arXiv__Mooncake - A KVCache-centric Disaggregated Architecture for LLM Serving]] Conductor | 間接 | 転送が再計算より安い場合が常態であることを設計が前提にする。ただし比較して選ぶ以上、無視はしていない | | 反対 | 数万 NPU 規模の商用展開で block-free D2D 転送が転送時間を 46% 削減。転送時間の削減が主要貢献の 1 つ | [[@2024__arXiv__P-D-Serve - Serving Disaggregated Large Language Model at Scale]] 評価 | 直接 | 反証条件に当たる | | 反対 | 16 トークンページのような小粒度では帯域が出ないため、既定 256 トークン程度のチャンクへまとめて転送 | [[@2025__arXiv__LMCache - An Efficient KV Cache Layer for Enterprise-Scale LLM Inference]] 転送設計 | 直接 | 転送粒度が帯域利用率を支配する | | 反対 | GH200 の NVLink-C2C(900 GB/s)でも既存サービングを移植すると C2C 帯域の 5% 未満しか使えない。原因はセグメント粒度とレイアウト | [[@2026__MLSys2026__SuperInfer - SLO-Aware Rotary Scheduling and Memory Management for LLM Inference on Superchips]] 動機 | 直接 | 帯域を桁で増やしても転送コストは消えない | | 反対 | KV オフロード有効時に Memcpy DtoH が 387 回、0.895 ms から 5,958 回、216.484 ms へ増大。PD 分離構成の 32 層分転送は Send 約 143〜187 µs、Recv 約 108〜145 µs | [[@2026__MLSys2026__MLCommons Chakra - Advancing Performance Benchmarking and Co-design using Standardized Execution Traces]] Table 7、Fig.15 | 直接 | Llama3-8B。オフロードの往復は ms 単位で積む | | 反対 | 7B、4K 入力で KV 約 2.0 GB、Llama3 405B、8K、同時 100 リクエストで 420 GB。転送先を Scale Up(NVLink/PCIe)か Scale Out(NIC/DPU)にするかでボトルネックが変わる | [[@2025__SpeakerDeck__AIインフラを考える]] p.41〜47 | 間接 | 計算式による試算。実測ではない | | 機序 | KV ロードと選択的再計算をパイプライン化し、選択的再計算の遅延がロード遅延以下なら SSD でも RAM と同等の TTFT 削減 | [[@2025__EuroSys__CacheBlend - Fast Large Language Model Serving for RAG with Cached Knowledge Fusion]] 設計 | 直接 | ロード遅延と(部分)再計算遅延が同じ桁にあることを設計が前提にする | | メタ | 支持側 4 件のうち 3 件は KV が小さい(120 MB)かノード内配置か障害復旧の文脈で、通常のプレフィックス再利用の大規模配備を測ったものは無い | 上記 | 記載なし | 2 周目。支持側の評価条件の偏り | ## 機序 支持と反対を分ける条件変数は 3 つある。 1. 転送経路の帯域と距離。ノード内 NVLink(DistServe)では 0.1% 未満、広域 APN でも KV が 120 MB なら再計算に勝つ(IOWN APN)。しかし scale-out の NIC 経路では 405B 級で数百 GB を運ぶ(AIインフラを考える)ため、帯域が支配項になる。 2. KV の大きさ。モデル規模とコンテキスト長と同時数の積で 4 桁動く(AIインフラを考える)。小さい KV では無視でき、大きい KV では転送時間の削減が主要貢献になる(P/D-Serve)。 3. 転送粒度とレイアウト。ページ単位の転送は帯域を使い切れず(LMCache)、900 GB/s の C2C でも 5% 未満しか使えない(SuperInfer)。コストが「無視できる」かは帯域の絶対値ではなく、粒度がそれを引き出せるかで決まる。 CacheBlend がロードと部分再計算をパイプライン化する設計は、両者が同じ桁にあるという前提の上に立つ。無視できるなら重ねる必要が無い。 ## 判定 基準の順に当てると、反証条件に当たる直接の根拠(P/D-Serve の転送時間 46% 削減、SuperInfer の帯域利用率 5% 未満)がある一方、支持側にも直接の根拠(DistServe、FailSafe、IOWN APN)があり、両者は条件変数(経路、KV サイズ、粒度)で説明できる。したがって mixed ではなく **partially** である。 狭めた命題: **KV キャッシュの転送コストは、ノード内 NVLink 経路で KV が数百 MB 以下のときは再計算に比べて無視できる。scale-out 経路、数十 GB を超える KV、ページ粒度の転送では無視できず、転送時間の削減そのものが設計目標になる。** また、いずれの条件でも「転送は再計算より安い」までは wiki のソースが支持する(FailSafe 41.5 倍、Mooncake の規則、IOWN APN 10G で 9 割削減)。 confidence を medium とするのは、支持側の直接根拠 3 件がいずれも通常のプレフィックス再利用の大規模配備を測ったものではないためである。 ## 反証条件 - scale-out 経路(400G/800G NIC)で数十 GB 級の KV を運ぶ配備で、転送時間が総 TTFT の 1% 未満と実測した source が入れば、狭めた命題の範囲を広げる。 - ノード内 NVLink 経路でも転送が TTFT の支配項になったと実測した source が入れば、狭めた命題の支持側を崩す。 - 転送コストが再計算コストを上回った実測が入れば、弱い版「転送は再計算より安い」も見直す。 ## 差し戻し 無し。命題に触れる source は 10 本で、判定に足りる。ただし「通常のプレフィックス再利用における大規模配備の転送時間分解」を主題にした source は無く、[[KVキャッシュ管理]] の未解決の問いに残る。 ## 関連 - 概念: [[KVキャッシュ管理]]、[[Prefill-Decode分離]]、[[LLM推論]] - エンティティ: [[LMCache]]、[[CacheBlend]]、[[Mooncake]]、[[DistServe]] ## 出典 - [[@2024__OSDI__DistServe - Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving]](ノード内配置での転送 0.1% 未満) - [[@2024__arXiv__P-D-Serve - Serving Disaggregated Large Language Model at Scale]](block-free D2D 転送で転送時間 46% 削減) - [[@2024__arXiv__Mooncake - A KVCache-centric Disaggregated Architecture for LLM Serving]](転送コストと追加 Prefill 時間を比較する複製規則) - [[@2025__arXiv__LMCache - An Efficient KV Cache Layer for Enterprise-Scale LLM Inference]](256 トークンチャンクへのバッチ化転送) - [[@2025__arXiv__FailSafe - High-performance Resilient Serving]](ホストからの復元が再計算比 41.5 倍) - [[@2025__EuroSys__CacheBlend - Fast Large Language Model Serving for RAG with Cached Knowledge Fusion]](ロードと選択的再計算のパイプライン化) - [[@2025__SpeakerDeck__AIインフラを考える]](KV サイズの試算と転送経路の選択) - [[@2025__MPLSJapan__A study on accelerating LLM inference using KV cache sharing with IOWN APN]](帯域別と距離別の TTFT 削減) - [[@2026__MLSys2026__SuperInfer - SLO-Aware Rotary Scheduling and Memory Management for LLM Inference on Superchips]](C2C 帯域利用率 5% 未満) - [[@2026__MLSys2026__MLCommons Chakra - Advancing Performance Benchmarking and Co-design using Standardized Execution Traces]](オフロード時の Memcpy 回数と時間)