# Gateway API Inference Extension Kubernetes SIGs が開発する、標準 Gateway API を拡張して分散 LLM 推論を管理するための Kubernetes ネイティブな抽象化層。通常の Kubernetes Service + Deployment によるステートレスなラウンドロビン負荷分散が、ステートフルで計算コストが不均一、かつキャッシュ再利用・遅延認識ルーティングの恩恵が大きい LLM 推論リクエストに不向きである問題に対処する。(Source: [[@2026__ICPE__Evaluating Kubernetes Performance for GenAI Inference]]) - 2 つのコア構成要素を持つ: (i) **InferenceGateway** — モデル登録・認証・バージョニング・ルーティングポリシーを備え、複数モデルバージョンを単一の論理エンドポイント下で提供するエントリポイント。(ii) **InferencePool** — バックエンドの [[vLLM]] レプリカ群を管理し、[[llm-d]] の Endpoint Picker (EPP) として実装される推論スケジューラを統合、キャッシュ認識・遅延最適化ルーティングを行う。 - ルーティング戦略として Random Scheduling(ベースライン)と Precise Prefix-Cache Aware Scheduling(「well-lit path」、KV キャッシュテレメトリを活用しプレフィックス一致レプリカへ優先的にルーティング)を比較評価した実験では、Precise Scheduling が Random Scheduling 比で平均 TTFT を約 6.25 倍改善(約 500ms→約 80ms)、99 パーセンタイル TTFT を最大 90% 改善、エンドツーエンド遅延の 99 パーセンタイルを最大 6 秒改善した。 - GAIE コンポーネント自体の導入オーバーヘッドは、vLLM Simulator を用いた検証で同時実行度 6〜20 において 3ms〜11ms 程度の追加 TTFT にとどまり、この追加オーバーヘッドはキャッシュ認識ルーティングによる遅延改善で十分に相殺される。(Source: [[@2026__ICPE__Evaluating Kubernetes Performance for GenAI Inference]]) - [[agentgateway]] はセルフホストモデル向けの LLM Gateway 機能として、GAIE が定める Kubernetes Inference Gateway 拡張を実装し、GPU/KVキャッシュ利用率・プロンプト重要度・LoRAアダプタ・キュー長に基づくルーティングを提供する。(Source: [[@2026__AgentgatewayDocs__agentgateway Standalone ドキュメント概要]]) ## 関連 - 本ソース: [[@2026__ICPE__Evaluating Kubernetes Performance for GenAI Inference]] / [[@2026__AgentgatewayDocs__agentgateway Standalone ドキュメント概要]] - 関連システム: [[llm-d]] / [[vLLM]] / [[Kueue]] / [[agentgateway]] - 関連概念: [[KVキャッシュ管理]] / [[コンテナオーケストレーション]] / [[AIゲートウェイ]]