# オートスケーリング ## 定義 オートスケーリング(autoscaling)とは、システムの負荷変動に応じてワークロードのレプリカ数・資源割当を自動的に増減させる制御機構をいう。Kubernetes エコシステムでは horizontal pod autoscaler(HPA)のような資源中心の汎用コントローラが標準として提供されるが、ワークロードの性質(ステートレス/ステートフル、資源プロファイル、SLO)によって「何をシグナルにスケーリング判断を下すか」の設計が大きく異なる。LLM 推論のようにステートフルかつメモリバウンドなワークロードでは、CPU 利用率のような汎用資源メトリクスに基づく反応的スケーリングが本質的に不十分であることが指摘されている。(Source: [[@2026__arXiv__WVA - A Global Optimization Control Plane for llmd]]) ## 横断的知見 - **「コールドスタートが反応的オートスケーリングを無効化する」という課題は、モデルサービング全般に通底する構造的な問題である**: [[@2020__arXiv__Serverless inferencing on Kubernetes]] が報告する 2020 年時点の KFServing(Knative Pod Autoscaler によるリクエストベースオートスケーリング)は、5〜30GB 級モデルのダウンロード時間がスケールツーゼロからの起動レイテンシを許容できないほど大きくすることを課題として挙げていた。WVA(2026年)が扱う LLM の数十〜数百秒級コールドスタート問題は、モデル規模の拡大とともにこの構造的課題がより先鋭化した形であり、KPA のリクエスト同時実行数ベースの汎用シグナルでは、LLM 特有の「1 リクエストが長時間 KV キャッシュを保持する」という性質を捉えられない点で WVA が明示的に対比している。(Source: [[@2020__arXiv__Serverless inferencing on Kubernetes]], [[@2026__arXiv__WVA - A Global Optimization Control Plane for llmd]]) - **「汎用オートスケーラのコアへドメイン固有ロジックを埋め込むべきではない」という設計判断は、Kubernetes エコシステム全体で繰り返し採用されている**: WVA は Kubernetes HPA のコアへ LLM 固有ロジック(KV キャッシュフェーズ認識・ハードウェアティアリング)を組み込むことを明示的に退け、HPA をアクチュエータとして再利用しつつ意思決定ロジックのみを上位に重ねる「拡張可能な推論認識型制御プレーン」として設計されている。これは KEDA がイベントソース対応を HPA の外側に拡張として実装するパターンや、Knative Pod Autoscaler(KPA)が Kubernetes 標準スケジューラの外側でリクエストベーススケーリングを提供するパターンと同型であり、Kubernetes コアコントローラを「汎用・最小公分母」に保ちつつ、ドメイン固有の最適化はレイヤーを重ねて実現するという設計原則が、モデルサービングの黎明期(KFServing/KPA、2020年)から LLM 時代(WVA、2026年)まで一貫して採用されていることを示す。(Source: [[@2020__arXiv__Serverless inferencing on Kubernetes]], [[@2026__arXiv__WVA - A Global Optimization Control Plane for llmd]]) ## 未解決の問い - WVA の Variant 抽象(ハードウェア・並列度・量子化のタプル)は、LLM 以外のワークロード(伝統的なマイクロサービス、バッチ処理)のオートスケーリングにも一般化できるか。それとも LLM 推論のステートフル性・メモリバウンド性に固有の抽象か。 - headroom ベースのスケーリング(WVA)と、mLSTM によるワークロード予測ベースのスケーリング([[LLMサービング管理]] の PreServe)を同一システムに積層した場合、両者の制御ループ(反応的 headroom 計算 vs 事前的トラフィック予測)は競合(振動)を起こさないか。 - WVA はデプロイの最大レプリカ数という外部制約に達した場合(論文の実機検証における 6 RPS 地点)、積極的な headroom ベーススケーリングが安全バッファなしの過負荷運用に陥り、保守的な HPA に劣後する逆転が観測された。この上限到達時の挙動を改善する設計(例えば上限接近時に保守的戦略へフォールバックする)は可能か。 - KEDA・Knative Pod Autoscaler(KPA)・WVA はいずれも HPA を土台にする拡張的アプローチを採るが、これら複数の拡張オートスケーラが同一クラスタ上で共存・競合した場合の相互作用は検証されているか。 ## 関連 - ソース: [[@2026__arXiv__WVA - A Global Optimization Control Plane for llmd]] / [[@2020__arXiv__Serverless inferencing on Kubernetes]] - 概念: [[LLMサービング管理]] / [[サーバーレスアーキテクチャ]] / [[KVキャッシュ管理]] - エンティティ: [[Kubernetes]] / [[llm-d]] / [[Knative]] / [[KFServing]] / [[IBM Research]] - 関連 MOC: [[Systems for ML - MOC]] ## 出典 - [[@2026__arXiv__WVA - A Global Optimization Control Plane for llmd]](Variant 抽象・headroom ベース飽和モデル・fragmentation-aware scale-down・Constrained/Unconstrained Mode の Global Optimizer、実機 H100×200 クラスタでの HPA 比 37% スループット改善・失敗数 10 分の 1) - [[@2020__arXiv__Serverless inferencing on Kubernetes]](Knative Pod Autoscaler によるリクエストベース GPU オートスケーリング、大規模モデルのコールドスタート課題の原型的観察)