# Efficient Large Language Models - A Survey ## 概要 Zhongwei Wan ほかによる TMLR 2024 掲載のサーベイ。LLM の効率化研究を、**モデル中心(model-centric)・データ中心(data-centric)・フレームワーク中心(framework-centric)**という 3 つの大分類に整理する。個別技術の羅列ではなく、「どこに手を入れて効率を得るか」という介入点による分類を採ることで、圧縮・アーキテクチャ設計・データ選別・学習/推論フレームワークという性質の異なる手法群を 1 枚の見取り図に収めている。付随する GitHub リポジトリで文献一覧を継続更新する運用も含む。 > [!abstract] 概要(abstract の日本語訳) > 大規模言語モデル(LLM)は、自然言語理解や言語生成といった重要なタスクにおいて目覚ましい能力を示しており、それゆえ我々の社会に相当の影響を与える可能性を持つ。しかしそうした能力は、それらが要求する多大な資源と引き換えに得られており、効率性の課題に対処する有効な技術を開発する強い必要性を浮き彫りにしている。本サーベイでは、効率的な LLM の研究について体系的かつ包括的な概観を与える。我々は文献を、モデル中心・データ中心・フレームワーク中心というそれぞれの観点から、異なるが相互に結びついた効率的 LLM の主題を覆う 3 つの大分類からなる分類体系に整理する。また GitHub リポジトリを作成し、本サーベイで取り上げた論文をそこに整理している(https://github.com/AIoT-MLSys-Lab/Efficient-LLMs-Survey)。我々はこのリポジトリを能動的に保守し、新しい研究が現れるたびに取り込んでいく。本サーベイが、研究者と実務者が効率的 LLM 研究を体系的に理解する助けとなり、この重要で刺激的な分野へ貢献するよう促す価値ある資源となることを願う。 ## 書誌情報 - 著者: Zhongwei Wan ほか - 媒体: Transactions on Machine Learning Research (TMLR) - 発表: 2024-05-23 - URL: https://openreview.net/forum?id=bsCCJHbO8A / arXiv:2312.03863 - 構成: 全 5 章(67 PDF ページ) - 原本: `.raw/theses/arxiv-2312.03863/` ## 構成と主要テーマ 本サーベイは「介入点で分類する」という方針を章構成そのものに反映しており、第 2〜4 章がそれぞれモデル・データ・フレームワークという 3 つの介入点に 1 章ずつ対応する。分量は第 2 章(21 ページ)が突出しており、効率化研究がモデル側に集中してきた事実がそのまま章の厚みに現れている。 → [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 1 Introduction]] — LLaMA 系列の学習 GPU 時間の指数関数的増大とモデル規模拡大に伴う推論スループット低下を動機として示し、**モデル中心・データ中心・フレームワーク中心という 3 分類の taxonomy** を提示する導入章。Mistral-7B の grouped-query attention / sliding window attention を「同等性能で高スループット」の具体例として挙げる。 → [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 2 Model-Centric Methods]] — 本サーベイ最大の章。モデル圧縮(量子化・パラメータ枝刈り・低ランク近似・知識蒸留)・効率的事前学習・効率的ファインチューニング(PEFT / MEFT)・効率的推論(アルゴリズム層とシステム層)・効率的アーキテクチャ設計(効率的アテンション・Mixture-of-Experts・長文脈・非 Transformer 系)の 5 節それぞれが taxonomy 樹形図を持つ。 → [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 3 Data-Centric Methods]] — データ選別(事前学習用・ファインチューニング用)とプロンプト工学(few-shot・プロンプト圧縮・プロンプト生成)の 2 系統。モデルを触らずに効率を得る経路を扱う。 → [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]] — 学習・微調整・推論の対応可否でフレームワークを三分類し、学習系 8 種(DeepSpeed・Megatron-LM・Colossal-AI・Nanotron・MegaBlocks・FairScale・Pax・Composer)と推論専用 7 種(vLLM・TensorRT-LLM・TGI・RayLLM・MLC LLM・Sax・Mosec)を Table 2 で機能横断比較する。 → [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 5 Concluding Remarks]] — taxonomy に沿ったレビューを総括し、効率性が今後ますます重要な役割を果たすと述べる短い結論章。 ## 位置づけと影響 - **分類の原理が他の LLM 効率化サーベイと異なる**。本サーベイは「**どこに手を入れて効率を得るか**」という介入点でカテゴリを切るが、Miao ほか(*Towards Efficient Generative LLM Serving*)はアルゴリズム / システムという 2 軸で、Zhou ほか(*A Survey on Efficient Inference for LLMs*)はデータ / モデル / システムの 3 層で切る。同じ手法群が別の分類原理で並べ替えられており、**分類体系どうしの対応表は未整備のまま**である(各 concept の未解決の問いに記録)。 - **モデル圧縮の位置づけが分類体系によって変わる**。本サーベイは圧縮を model-centric の独立した部門として扱うが、Miao ほかはサービング最適化の前提条件として扱う。手法の中身は同じでも、分類上どこに置くかで「圧縮は目的か手段か」という含意が変わる。 - **章分割して初めて見えたこと**: 第 2 章(21 ページ)と第 3 章(5 ページ)・第 4 章(5 ページ)の分量比が、効率化研究の重心がモデル側に偏っていることをそのまま示す。データ中心手法とフレームワークは、本サーベイの 3 分類のうち残り 2 つを構成しながら、レビュー対象の厚みでは大きく劣る。 - **フレームワークの機能セットには 2 つの束がある**。第 4 章の Table 2 を横断すると、学習対応フレームワークは 3D Parallelism / ZeRO を核に周辺機能が分布するのに対し、推論専用フレームワークは共通基盤の上で差別化軸(PagedAttention・Dynamic SplitFuse 等)が分かれる。この対比は個々のフレームワーク entity からは見えず、比較表を 1 枚に持ったときだけ立ち上がる。 ## 関連 - 概念: [[LLM推論]] / [[モデル圧縮]] / [[Mixture-of-Experts]] / [[条件付き計算]] / [[LLM分散学習]] / [[負荷分散]] ## 出典 - Zhongwei Wan et al., *Efficient Large Language Models: A Survey*, TMLR, 2024. arXiv:2312.03863.