# SmoothQuant SmoothQuant [205] は、重み・活性値の両方を量子化する重み-活性値量子化(Weight-Activation Quantization)手法であり、活性値量子化の難しさに対処する再パラメータ化技法を導入する。スケーリング係数を導入して重みチャネルのデータ範囲を広げると同時に、対応する活性値チャネルのデータ範囲を縮小することで、量子化しにくい活性値側の外れ値問題を、量子化がより容易な重み側へ実質的に移す。(Source: [[@2024__arXiv__A Survey on Efficient Inference for Large Language Models - Chapter 5.1 Model Compression - Quantization]] §5.2.1 Post-Training Quantization) Table 3(同章)では、SmoothQuantは重み・活性値の両方を一様量子化(Uniform)し、量子化パラメータを統計ベース(Statistic-based)で決定し、量子化過程で値更新(補償)を行う手法として分類される。 ## 関連 - ソース: [[@2024__arXiv__A Survey on Efficient Inference for Large Language Models - Chapter 5.1 Model Compression - Quantization]] - 関連手法: [[GPTQ]] / [[AWQ]] - 概念: [[量子化]] ## 出典 - [[@2024__arXiv__A Survey on Efficient Inference for Large Language Models - Chapter 5.1 Model Compression - Quantization]](§5.2.1 Post-Training Quantization、Table 3)