# Xiaomi MiMo-V2-Flash [[Xiaomi]] が 2025 年 12 月に公開した 309B MoE オープンウェイト LLM(15B 活性化)。 ## アーキテクチャの特徴 - **超積極的な SWA**: 5:1 比率(5 ローカル: 1 グローバル)でウィンドウサイズ **128 トークン**。Gemma 3(1024)の 1/8 という現時点で最も小さいウィンドウサイズ。KV キャッシュの大幅削減。 - **MoE**: 309B 総パラメータ・15B 活性化。 - **MTP(マルチトークン予測)**: 訓練効率化と推論時の投機的デコーディングに活用。 ## 性能 DeepSeek V3.2 と同等のベンチマーク性能を半分のパラメータ数で達成。SWA ウィンドウ 128 という積極的な設定でも性能劣化が限定的であることを示した。 現時点で最大規模の SWA 採用モデルの一つ。 ## 関連 - エンティティ: [[Xiaomi]] / [[DeepSeek-V3.2]] - 概念: [[スライディングウィンドウアテンション]] / [[マルチトークン予測]] / [[Mixture-of-Experts]] - ソース: [[The Big LLM Architecture Comparison]]