# PLaMo 2 PLaMo 2 は、[[Preferred Networks]] が開発した日本語重視の LLM 系列である。PLaMo 2 Technical Report では、Samba ベースの Mamba + スライディングウィンドウアテンションから始め、32K 文脈対応の継続事前学習でフルアテンション相当へ移行する構成、合成日本語データ、重み再利用、31B から 8B への構造化枝刈りと知識蒸留、SFT / DPO、vLLM 実装、INT4 重み量子化、FP8 KV キャッシュ量子化が説明されている。(Source: [[@2025__arXiv__PLaMo 2 Technical Report]]) ## 評価 PLaMo 2.1-8B は Jaster AVG 0.626、M-IFEval 日本語サブセット AVG 0.630、pfgen-bench 0.893 を示す。PLaMo 2.0-31B は Jaster AVG 0.665、M-IFEval AVG 0.677、pfgen-bench 0.890 を示す。著者らは、同規模のオープンモデルに対して日本語流暢性、指示追従、日本固有知識で優位だと述べる。一方で、ELYZA-tasks-100 では 31B クラスの Qwen3 thinking や Qwen2.5-32B-Instruct などに及ばず、多段推論や数学推論が課題として残る。(Source: [[@2025__arXiv__PLaMo 2 Technical Report]]) ## 関連 - 開発元: [[Preferred Networks]] - ソース: [[@2025__arXiv__PLaMo 2 Technical Report]] - 概念: [[ハイブリッドアテンションアーキテクチャ]] / [[スライディングウィンドウアテンション]] / [[状態空間モデル]] / [[モデル圧縮]] / [[LLM推論]] / [[KVキャッシュ管理]]