# Gemma 3 Google が 2025 年 3 月に公開したオープンウェイト言語モデルシリーズ。サイズは 1B・4B・12B・27B。 ## アーキテクチャの特徴 - **スライディングウィンドウアテンション(SWA)**: 5:1 比率(5 ローカル: 1 グローバル)でウィンドウサイズ 1024 トークン。Gemma 2 の 1:1 比率・4096 ウィンドウから効率改善。 - **GQA**: Grouped-Query Attention を採用。 - **Pre+Post-Norm**: アテンションモジュールの前後両方に RMSNorm を配置する独自設計。 - **QK-Norm**: アテンション内部の Q/K に RMSNorm を適用。 - KV キャッシュは SWA により大幅削減(ウィンドウサイズ固定)。 ## 位置づけ - Gemma 3 27B は Raschka 曰く「オープンソースコミュニティで過小評価されている」モデル。Mac Mini でローカル実行可能。 - Llama シリーズほどの注目を得ていないが、同規模モデルのパレートフロンティア付近に位置。 ## 後継モデル [[Gemma 4]] — 2026 年 4 月公開。アーキテクチャはほぼ同一だがグローバルアテンション層で K=V 再利用と p-RoPE を追加。 ## 関連 - エンティティ: [[Google]] / [[Gemma 4]] - 概念: [[スライディングウィンドウアテンション]] / [[Grouped-Query Attention]] / [[QK-Norm]] - ソース: [[The Big LLM Architecture Comparison]]