# Decode Context Parallelism ## 定義 Decode Context Parallelism(DCP)とは、Multi-Head Latent Attention([[Multi-Head Latent Attention|MLA]])の KV キャッシュを複数 GPU にシャーディングして分散配置する推論時並列化方式である。単一 GPU に MLA の KV キャッシュ全体を保持する構成に対し、DCP は decode フェーズの KV キャッシュを GPU 数(DCP サイズ)で分割することで、GPU あたりのメモリ負担を下げ、その分だけ実効コンテキスト長を拡大できる。[[SGLang]] 0.5.16 は DCP に対応するのに対し、同時期の vLLM は未対応であり、同じ GPU 構成でも実効コンテキスト容量に最大8倍の差が生じたと報告されている。(Source: [[@2026__Fixstars Tech Blog__Kimi-K3 を Day0 デプロイ - 2.8T モデルは NVIDIA B300 x8 の 1 ノードで動くのか]]) ## 横断的知見 - (このconceptは初出。2ソース目以降に横断的知見を追記する) ## 未解決の問い - DCP サイズ(分割数)を大きくした場合の通信オーバーヘッドとレイテンシへの影響はどの程度か。 - Kimi K3 のようなハイブリッドアテンション(KDA + MLA)構成では、DCP は MLA 層の KV キャッシュにのみ適用されるのか、KDA 側の state pool にも同様の分散が可能か。`--mamba-full-memory-ratio` とのメモリ配分競合が実効コンテキストを制約する要因になっていないか(Source: [[@2026__Fixstars Tech Blog__Kimi-K3 を Day0 デプロイ - 2.8T モデルは NVIDIA B300 x8 の 1 ノードで動くのか]])。 - vLLM が DCP に対応した場合、SGLang との実効コンテキスト差は解消されるか。 ## 関連 - [[Multi-Head Latent Attention]] — DCP が分散対象とする KV キャッシュを持つアテンション方式 - [[KVキャッシュ管理]] / [[並列化戦略]] — 上位概念 - [[SGLang]] — DCP を実装する推論エンジン - [[Kimi K3]] — DCP を用いてデプロイされた事例 ## 出典 - [[@2026__Fixstars Tech Blog__Kimi-K3 を Day0 デプロイ - 2.8T モデルは NVIDIA B300 x8 の 1 ノードで動くのか]]