# Introducing Envoy AI Gateway [[Envoy AI Gateway]] プロジェクト発足を告げる公式ブログ記事。[[Tetrate]] の [[Erica Hughberg]] が執筆。[[Envoy Gateway]] / [[Envoy]] メンテナー企業の [[Tetrate]] と [[Bloomberg L.P.]] の協業により、「生成AI機能のトラフィック処理を業界全体で進化させる」ことを目指すオープンな取り組みとして開始された。エンタープライズライセンスに閉じた機能だけでは業界全体のニーズに対応できないという認識が動機。(Source: 本ページ) ## AIトラフィック処理機能が必要な理由 LLMトラフィックは従来のAPIトラフィックと性質が異なり、「トークンベースの使用量制御」が必須になる。リクエスト・レスポンスのトークン数をカウントすることで初めて計算複雑性とコストを把握できるため、従来のリクエスト数ベースのレート制限機能では不十分である。複数アプリケーションから複数LLMプロバイダへのトラフィックを管理するには専門的な機能が必要とされる。(Source: 本ページ) ## MVP(Minimum Viable Product)の3機能 1. **使用量制限** — トークンベースのLLM使用量制御 2. **統一API** — 複数LLMプロバイダ統合の簡素化 3. **アップストリーム認可** — 複数プロバイダの認証情報・認可設定 これらはLLMプロバイダ統合の障壁を低減し、ゲートウェイ利用者全般に利益をもたらす機能として位置づけられている。(Source: 本ページ) ## 関連プロジェクト・コミュニティ - [[Envoy Gateway]] — APIゲートウェイ機能を提供するコントロールプレーン - [[Envoy]](Envoy Proxy) — コアプロキシ機能 - Envoy Mobile — モバイル対応 - CNCF Envoyプロジェクト — オープンソース協業基盤 - [[Kubernetes Gateway API]] — 標準化されたゲートウェイインターフェース コミュニティは毎週月曜日の定例会議・Slackコミュニティ・GitHubディスカッションで運営される。(Source: 本ページ) ## 関連 - [[Envoy AI Gateway]] — 本記事が発足を告げるプロジェクト - [[Tetrate]] / [[Bloomberg L.P.]] — 共同創設組織 - [[Erica Hughberg]] — 著者 ## 出典 - [Introducing Envoy AI Gateway](https://aigateway.envoyproxy.io/blog/introducing-envoy-ai-gateway/)(Erica Hughberg, 2024-10-18)