# Wanda Wanda [166] は、LLMの重みを非構造化枝刈りする手法であり、重みの大きさ(magnitude)ベースの枝刈り基準を用いる代表的な手法である。重みの大きさと、その重みに対応する入力活性値のノルムとの要素積を枝刈り基準として用いる点が特徴で、SparseGPTのような再構成損失の最小化に基づく系統とは異なるアプローチを取る。(Source: [[@2024__arXiv__A Survey on Efficient Inference for Large Language Models - Chapter 5.2 Model Compression - Sparsification, Structure Optimization, Distillation, and Dynamic Inference]] §5.2.2 Sparsification) RIA [173] はWandaと同じく重み・活性値を用いる系統に属するが、Relative Importance and Activationsという指標で重み要素の重要度を全接続重みに基づいて評価し、さらに非構造化スパースパターンを構造化N:M疎パターンへ変換することでNVIDIA GPU上での実際の速度向上を達成する点で発展させている。(Source: [[@2024__arXiv__A Survey on Efficient Inference for Large Language Models - Chapter 5.2 Model Compression - Sparsification, Structure Optimization, Distillation, and Dynamic Inference]] §5.2.2 Sparsification) ## 関連 - ソース: [[@2024__arXiv__A Survey on Efficient Inference for Large Language Models - Chapter 5.2 Model Compression - Sparsification, Structure Optimization, Distillation, and Dynamic Inference]] - 関連手法: [[SparseGPT]] - 概念: [[枝刈り]] ## 出典 - [[@2024__arXiv__A Survey on Efficient Inference for Large Language Models - Chapter 5.2 Model Compression - Sparsification, Structure Optimization, Distillation, and Dynamic Inference]](§5.2.2 Sparsification, Weight Pruning)