# SmolLM3 Hugging Face が公開した 3B パラメータのオープンウェイト LLM。Qwen3 1.7B と 4B の間のサイズに位置し、OLMo と同様に訓練詳細を公開する透明性が特徴。 ## アーキテクチャの特徴 - **NoPE**: 4 層に 1 層の割合で No Positional Embedding を適用。RoPE と混在させることで長さ汎化を改善しつつ通常性能も維持。 - 標準的な GQA アーキテクチャをベースに NoPE を組み込んだ設計。 ## 性能 ベンチマークで Qwen3 1.7B・4B、Llama 3 3B、Gemma 3 4B と同等またはそれ以上の性能を示した(SmolLM3 アナウンスポスト、ウィン率比較)。 ## 関連 - 概念: [[NoPE]] / [[Grouped-Query Attention]] - ソース: [[The Big LLM Architecture Comparison]]