# RayLLM Ray エコシステムの一部として提供される LLM サービングフレームワーク。AnyScale が開発した Ray Serve と Ray ライブラリ上に構築され、マルチ GPU・マルチノード環境での LLM サービングを容易にする。Ray 固有の分散タスクスケジューリング・実行機構を活用して利用可能な資源へ LLM タスクを効率配分し、カスタムユースケース向けの新規 LLM 追加の簡素化、オートスケーリング対応、継続バッチング・量子化(GPTQ・AWQ・SqueezeLLM)・Prometheus メトリクスによる監視をサポートする。モデルの比較・ランク付け、コスト・レイテンシ推定を行う CLI・Web フロントエンドも備える。学習・微調整には非対応で推論専用に位置づけられる。(Source: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]], Table 2) ## 関連 - ソース: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]] - 開発機関: AnyScale(Ray エコシステム) - 隣接エンティティ: [[vLLM]] / [[TensorRT-LLM]](同じく推論専用フレームワーク) - 概念: [[LLM推論]]