# Gemma 4 Google が 2026 年 4 月に公開したオープンウェイト言語モデル。Dense(31B)と MoE(26B-A4B)の 2 バリアント。 ## アーキテクチャ [[Gemma 3]] とほぼ同一のアーキテクチャに 2 つの追加が加わった: - **K=V 再利用**: グローバルアテンション層で `values = keys` を設定。K キャッシュと V キャッシュを統一し KV キャッシュを半分に削減。 - **p-RoPE**: 全次元の 25% にのみ RoPE を適用。長コンテキストにおける位置ノイズを軽減。 - **Pre+Post-Norm**: Gemma 3 から継承。 - **SWA**: 5:1 比率(5 ローカル: 1 グローバル)、ウィンドウサイズ 1024 トークン。 ## 性能 - Arena スコアで Gemma 3 から大幅に改善。Qwen3.5 27B と同等の性能を多くのベンチマークで示す。 - Arena スコアは人間の嗜好バイアスがあるため Raschka は他のベンチマークとの比較を推奨。 ## MoE バリアント 26B-A4B の MoE バリアントも提供。Dense(31B)とほぼ同等の性能。 ## 関連 - エンティティ: [[Gemma 3]] / [[Google]] - 概念: [[スライディングウィンドウアテンション]] / [[Grouped-Query Attention]] / [[Mixture-of-Experts]] - ソース: [[The Big LLM Architecture Comparison]]