# SparseGPT SparseGPT [165] は、LLMの重みを非構造化枝刈りする代表的な手法であり、再構成損失の最小化を枝刈り基準とする系統に属する。OBS [225](各重みの除去がネットワークの再構成損失に与える影響を考慮し、枝刈りマスクを決定した上で非枝刈り重みを再構成して枝刈り損失を補償するアルゴリズム)の考え方を踏襲するが、OBSはヘシアン行列の頻繁な更新により計算効率が悪いという課題を抱えていた。SparseGPTはOptimal Partial Updates技術によりこの効率ボトルネックを克服し、OBSの再構成誤差に基づく適応的なマスク選択技術を設計した。(Source: [[@2024__arXiv__A Survey on Efficient Inference for Large Language Models - Chapter 5.2 Model Compression - Sparsification, Structure Optimization, Distillation, and Dynamic Inference]] §5.2.2 Sparsification) Prune and Tune [168] はSparseGPTを改良し、枝刈り中に最小限の訓練ステップでLLMをファインチューニングすることで性能をさらに向上させる。(Source: [[@2024__arXiv__A Survey on Efficient Inference for Large Language Models - Chapter 5.2 Model Compression - Sparsification, Structure Optimization, Distillation, and Dynamic Inference]] §5.2.2 Sparsification) ## 関連 - ソース: [[@2024__arXiv__A Survey on Efficient Inference for Large Language Models - Chapter 5.2 Model Compression - Sparsification, Structure Optimization, Distillation, and Dynamic Inference]] - 関連手法: [[Wanda]] - 概念: [[枝刈り]] ## 出典 - [[@2024__arXiv__A Survey on Efficient Inference for Large Language Models - Chapter 5.2 Model Compression - Sparsification, Structure Optimization, Distillation, and Dynamic Inference]](§5.2.2 Sparsification, Weight Pruning)