| 切り口 | ポイント | | ------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | **定義・規模** | 数百万 〜 数十億パラメータ程度の軽量言語モデル。[[LLM]]より桁違いに小さく、モバイル／エッジ機器でも実行可能。([IBM][1]) | | **小型化の代表手法** | 知識[[蒸留]]・[[プルーニング]]・[[量子化]]・[[低ランク分解]]などを組み合わせ、精度を保ったままサイズを削減。([IBM][1]) | | **代表モデル例** | - **Phi‑3‑mini** 3.8B params（Microsoft）—同等サイズのモデルを凌駕。([Source][2]) <br> - **Gemma** 2B/7B/9B（Google）公開。([IBM][1]) <br> - **DistilBERT** BERT比40%小・60%速・97%性能維持。([IBM][1]) <br> - その他 Llama 3.2 1B/3B、GPT‑4o mini、Granite 等。 | | **主なメリット** | 1. **低コスト・省電力**—家庭用GPUやスマホで動作。([deepsense.ai][3]) <br> 2. **オフライン & プライバシー**—端末内処理でGDPR順守しやすい。([TechRadar][4]) <br> 3. **ドメイン特化の高精度・低ハルシネーション**—業界データで微調整容易。([TechRadar][4]) <br> 4. **迅速なR\&D**—家庭用GPUで再学習・検証が可能。([deepsense.ai][3]) | | **典型的ユースケース** | スマホアシスタント／車載AI／IoTデバイス／社内RAGチャットボット／オンデバイス翻訳・音声入力など。 | | **主な限界・課題** | - 知識量が必要な複雑推論ではLLMに劣る。([donets.org][5]) <br> - コンテキスト長やメモリ上限の制約。<br> - エッジ実装ではランタイム成熟度・プラットフォーム依存など技術ハードル。([deepsense.ai][3]) | [1]: https://www.ibm.com/think/topics/small-language-models "What are Small Language Models (SLM)? | IBM" [2]: https://news.microsoft.com/ja-jp/2024/04/24/240424-the-phi-3-small-language-models-with-big-potential/ "小さくても強力: 小規模言語モデル Phi-3 の大きな可能性 - News Center Japan" [3]: https://deepsense.ai/blog/implementing-small-language-models-slms-with-rag-on-embedded-devices-leading-to-cost-reduction-data-privacy-and-offline-use/ "Implementing Small Language Models (SLMs) with RAG on Embedded Devices Leading to Cost Reduction, Data Privacy, and Offline Use - deepsense.ai" [4]: https://www.techradar.com/pro/small-models-big-wins-four-reasons-enterprises-are-choosing-slms-over-llms "Small models, big wins: four reasons enterprises are choosing SLMs over LLMs | TechRadar" [5]: https://donets.org/risks/performance-limitations-of-smaller-scale-language-models "Nikolay Donets | Performance Limitations of Smaller-Scale Language"