# LLM Foundry MosaicML が開発した、LLM の微調整・評価・サービング向けライブラリ。FSDP による分散推論と継続バッチング(Continuous Batching)による効率的サービングに対応し、MosaicML プラットフォームとのクラウド統合機能を持つ。学習(Training)には非対応で、Fine-Tuning と Inference のみに対応する中間カテゴリのフレームワーク。(Source: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]], Table 2) ## 関連 - ソース: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]] - 開発機関: MosaicML - 隣接エンティティ: [[Composer]](同じく Mosaic ML 開発の学習フレームワーク) / [[OpenLLM]](同じく学習非対応の中間カテゴリ) - 概念: [[LLM推論]] / [[並列化戦略]]