# Text-Generation-Inference (TGI) [[HuggingFace]] が開発した高性能 LLM サービングライブラリで、Hugging Chat の稼働基盤。多様な LLM をサポートし、テンソル並列化・継続バッチング(Continuous Batching)・[[FlashAttention]] や PagedAttention のような効率的アテンション機構・量子化(BitsAndBytes・GPTQ)に対応する。学習・微調整には非対応で推論専用に位置づけられる。(Source: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]], Table 2) ## 関連 - ソース: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]] - 開発機関: [[HuggingFace]] - 隣接エンティティ: [[vLLM]] / [[TensorRT-LLM]](同じく推論専用フレームワーク) - 概念: [[LLM推論]]