# Envoy AI Gateway Reference Architecture [[Envoy AI Gateway]] の本番運用向けリファレンスアーキテクチャを解説する公式ブログ記事。[[Tetrate]] の [[Erica Hughberg]] と [[Bloomberg L.P.]] の [[Alexa Griffith]] の共著。(Source: 本ページ) ## コアアーキテクチャ: 二層ゲートウェイ設計 - **Tier One Gateway**(第一層): 集約されたゲートウェイクラスタにデプロイ。外部LLMプロバイダ(OpenAI・Anthropic・Bedrock・Vertex)または内部モデルサービスクラスタへのトラフィックルーティング、認証、トップレベルルーティング、グローバルレート制限を担う。 - **Tier Two Gateway**(第二層): 自ホスト型モデルサービングクラスタ内にデプロイ。内部トラフィックルーティング・ロードバランシング・自ホスト型モデル特有のポリシー実装を担う。プラットフォームチームは外部ゲートウェイに変更を加えずにモデルバージョン管理や内部セキュリティルールを適用できる。 (Source: 本ページ。記事内に二層ゲートウェイアーキテクチャ図・KServe統合図が掲載されているが、画像URL取得時点で404のため未取得) ## ルーティング・トラフィック管理機能 | 機能 | 解決課題 | ソリューション | |---|---|---| | アップストリーム認証と認証情報注入 | 複数プロバイダのAPI鍵管理 | ゲートウェイが各プロバイダの認証情報を自動注入 | | トークンベースレート制限 | 予期しない使用料金増加 | 使用量・リクエスト・予測コストに基づくポリシー実装 | | 可観測性フック | 複数プロバイダ利用時の統計把握困難 | 「単一の真実のソース」としてメトリクス・ログ・トレース提供 | ## KServeを用いた自ホスト型モデルサービング [[KFServing|KServe]](KFServing の後継プロジェクト名)の主要機能を活用する: - トークンベースの自動スケーリングおよびGPUのゼロスケーリング機能 - マルチノード推論([[vLLM]]経由) - OpenAI互換API対応 - モデルおよびプロンプトキャッシング オプショナルなデプロイメント支援としてBackstageなどのツールによるモデルデプロイ簡素化がある。(Source: 本ページ) ## 本番環境対応: 可観測性・制御・最適化 - **可観測性**: [[OpenTelemetry]]統合(GenAI Semantic Conventions準拠)、OpenLLMetryなど専門テレメトリの活用、集約ロギング機能。 - **制御**: ガードレール設定によるコスト超過防止、安全性チェックとアウトプット検証ルール。 - **最適化**: KServeのモデルキャッシング、分散型推論対応(計算集約的・メモリ集約的処理の分離)。 ## プラグイン可能で柔軟な設計 外部/自ホスト型LLMの選択的採用、統一APIでの複数プロバイダ対応、Envoyエクステンションフィルタによるカスタム機能追加、複数クラスタ・クラウドプロバイダへの分散デプロイメント対応を特徴とする。(Source: 本ページ) ## 関連 - [[Envoy AI Gateway]] — 本記事が解説するリファレンスアーキテクチャの主題 - [[KFServing]](KServe) — 組み合わせるセルフホスト型モデルサービング基盤 - [[OpenTelemetry]] / [[vLLM]] — 可観測性・推論エンジンの組み合わせ先 - [[Alexa Griffith]] — 共著者 ## 出典 - [Envoy AI Gateway Reference Architecture](https://aigateway.envoyproxy.io/blog/envoy-ai-gateway-reference-architecture)(Erica Hughberg, Alexa Griffith、2025-07-15)