# Nemotron 3
[[NVIDIA]] が 2025 年 12 月に発表したオープン LLM ファミリー。Nano(30B 総パラメータ/3B 活性化)・Super・Ultra の 3 モデルからなる。ハイブリッド Mamba-2–Transformer [[Mixture-of-Experts|MoE]] アーキテクチャにより、Self-Attention の KV キャッシュ線形増大を回避し、同規模 Transformer MoE 比で最大 3.3 倍の推論スループットを達成する。
Super・Ultra は [[LatentMoE]](潜在次元でのエキスパート計算・通信削減)と NVFP4 事前学習(BF16 比 0.6% 未満の損失差)を採用し、MTP 層で投機的復号(承認率約 97%)を実現する。全モデルはマルチ環境同時 RL([[GRPO]] + 非同期 RL アーキテクチャ)でポストトレーニングされ、数学・コード・ツール利用・長コンテキスト(最大 100 万トークン)を同時に最適化する。
モデル重み・10 兆トークン超のデータセット・訓練レシピ・ポストトレーニングソフトウェア([[NeMo-RL]]・NeMo-Gym)を Apache 2.0 で公開予定。