# KFServing [[Kubeflow]] プロジェクトエコシステム内で作られた、[[Knative]](さらにその基盤の [[Istio]])を拡張して機械学習推論に対応させるサーバーレス機械学習推論プロジェクト。単一の `InferenceService` Custom Resource Definition(CRD)により、TensorFlow・PyTorch・XGBoost・SKlearn 等の多様なフレームワークをまたいで一貫したデプロイインターフェースを提供する。(Source: [[@2020__arXiv__Serverless inferencing on Kubernetes]]) ## 主要機能 - **InferenceService CRD**: モデル保存場所とサーバー種別の指定だけで、サーバーレス Knative サービスの作成・アーティファクトダウンロード用 storage initializer の作成・ネットワーキング配線を自動化する。CPU/GPU/TPU/メモリのリソース要求も指定可能。 - **canary デプロイ**: `canaryTrafficPercent` フィールドで一部トラフィックを新モデルへ振り分けられる。Kubernetes の宣言的リソース定義がもたらす GitOps パターン(バージョン管理・監査・ロールバック)と統合する。 - **Transformer / Explainer**: コアモデルサーバーへリクエスト・レスポンスのデータ変換処理(transformer)や個々の推論の説明可能性処理(explainer)をアタッチできる。 - **Payload logging**: リクエスト・レスポンスのペイロードを非同期に監視・分析用へ送信するロギング機能。 - **スケールツーゼロ**: Knative を基盤に、着信リクエストがない場合にモデルサーバー全体をゼロへスケールする。 - **GPU オートスケーリング**: Knative Pod Autoscaler(KPA)のリクエストベースオートスケーリング(インフライトリクエスト数と設定同時実行数の比較)を活用し、GPU duty cycle メトリクスの取得困難性・CPU/GPU 指標統合困難性を回避する。(Source: [[@2020__arXiv__Serverless inferencing on Kubernetes]] §4.1) ## 本番運用からの知見(2020年時点) - queue-proxy サイドカーの CPU クォータと Linux CFS スケジューラのバグの組み合わせにより、テールレイテンシへ予期せぬ悪影響が生じうる。 - 大規模モデル(5〜30GB)ではスケールツーゼロからの起動レイテンシが許容できないほど大きくなりうり、低レイテンシ要件とのトレードオフになる。 - Istio/Knative スタックの大規模運用(数百〜数千 InferenceService)はリソースチューニング負荷が高い。 未解決の課題として、大規模モデルのキャッシュ・アーティファクト共有、数百〜数千個の小規模モデルの透過的な多重化、監視コンポーネントのライフサイクル管理が挙げられている。(Source: [[@2020__arXiv__Serverless inferencing on Kubernetes]] §6) ## KServeへの改名とLLM時代での再利用 プロジェクトは後に **KServe** へ改名された。2025年時点の [[Envoy AI Gateway]] リファレンスアーキテクチャは、自ホスト型LLMモデルサービング層としてKServeを組み合わせて利用することを推奨しており、トークンベース自動スケーリング・GPUのゼロスケーリング・マルチノード推論([[vLLM]]経由)・OpenAI互換API・モデル/プロンプトキャッシングといった機能が2020年のKFServing論文が報告していたスケールツーゼロ・GPUオートスケーリングの課題意識の延長線上で活用されている。(Source: [[@2025__EnvoyAIGatewayBlog__Envoy AI Gateway Reference Architecture]]) ## 関連 - Source: [[@2020__arXiv__Serverless inferencing on Kubernetes]] / [[@2025__EnvoyAIGatewayBlog__Envoy AI Gateway Reference Architecture]] - 基盤プロジェクト: [[Kubeflow]] / [[Knative]] / [[Istio]] / [[Kubernetes]] - 共著者: [[Clive Cox]] / [[Dan Sun]] / [[Ellis Tarn]] / [[Animesh Singh]] / [[Rakesh Kelkar]] / [[David Goodwin]] - 関連概念: [[サーバーレスアーキテクチャ]] / [[LLMサービング管理]] - LLM時代での再利用: [[Envoy AI Gateway]]