> [!abstract] 概要(arXiv abstract の日本語訳) > 本報告では、PLaMo 2 を紹介する。PLaMo 2 は、日本語に焦点を当てた大規模言語モデル系列であり、Samba ベースのハイブリッドアーキテクチャを備え、32K トークン文脈を支援するために継続事前学習を通じてフルアテンションへ移行する。 > 訓練では、データ不足を克服するために大規模な合成コーパスを活用し、計算効率は重み再利用と構造化枝刈りによって達成する。 > この効率的な枝刈り手法により、前世代の 100B モデルに匹敵する性能を達成する 8B モデルが得られる。 > 事後学習では、教師ありファインチューニング(SFT)と直接選好最適化(DPO)からなるパイプラインを用い、合成日本語指示データとモデルマージ技術によってモデルをさらに洗練する。 > vLLM と量子化を用いた推論最適化により、精度低下を最小限に抑えつつ、PLaMo 2 モデルは日本語ベンチマークで最先端の結果を達成し、同程度のサイズのオープンモデルを指示追従、日本語流暢性、日本固有知識で上回る。 ## 論文情報 - タイトル: PLaMo 2 Technical Report - 著者: Preferred Networks: Kaizaburo Chubachi, Yasuhiro Fujita, Shinichi Hemmi, Yuta Hirokawa, Kentaro Imajo, Toshiki Kataoka, Goro Kobayashi, Kenichi Maehashi, Calvin Metzger, Hiroaki Mikami, Shogo Murai, Daisuke Nishino, Kento Nozawa, Toru Ogawa, Shintarou Okada, Daisuke Okanohara, Shunta Saito, Shotaro Sano, Shuji Suzuki, Kuniyuki Takahashi, Daisuke Tanaka, Avinash Ummadisingu, Hanqin Wang, Sixue Wang, Tianqi Xu - 媒体: arXiv:2509.04897v2, cs.CL / cs.AI / cs.LG - 投稿日: 2025-09-05、最終改訂: 2025-09-25 - DOI: https://doi.org/10.48550/arXiv.2509.04897 ## 概要 本報告は、[[Preferred Networks]] の日本語重視 LLM 系列 [[PLaMo 2]] の技術報告である。主な設計は、Samba ベースのハイブリッドアーキテクチャ、合成データによる日本語・コード・数学データ拡張、重み再利用と構造化枝刈りによる訓練効率化、継続事前学習による 32K 長文脈対応、事後学習と推論最適化で構成される。著者らは、PLaMo 2.1-8B と PLaMo 2.0-31B が複数の日本語ベンチマークで同規模オープンモデルを上回ると報告する。 ## 問題設定 論文が対象にする問題は、日本語に強い LLM を、訓練コスト、長文脈推論、データ不足、推論メモリ制約を同時に考慮して構築することである。英語に比べて高品質な日本語コーパスが限られるため、翻訳、言い換え、コード、数学の合成データを使ってデータ不足を補う。さらに、長い系列では Transformer の KV キャッシュと二次計算量が問題になり、Samba 型の Mamba + スライディングウィンドウアテンションを導入するが、後段で長距離検索性能の制約も顕在化する。 ## 提案手法 ### アーキテクチャ PLaMo 2 は、Mamba とスライディングウィンドウアテンションを組み合わせる Samba ベースのアーキテクチャを採用する。著者らは、この構成により、訓練時系列長を超える推論と、系列長に依存しないメモリ使用量・計算複雑度を狙う。一方で、SWA の固定ウィンドウ外にある情報を取り出す Phonebook / Passkey Retrieval では、2,048 トークンのウィンドウを越えた位置で性能が落ちることを観察し、32K 文脈対応の継続事前学習では SWA のウィンドウを目的文脈長まで拡大してフルアテンション相当にする。 **Figure 1: Samba architecture** ![[_attachments/arxiv-2509.04897/fig01-samba-architecture.png]] (Figure 1. Mamba とスライディングウィンドウアテンションを組み合わせる Samba 構成。Mamba は隠れ状態を保持し、SWA は局所的な key-value キャッシュを扱う。Source: PLaMo 2 Technical Report.) ### データ生成 事前学習では、CommonCrawl 由来の日本語・英語ウェブコーパスに加え、教育価値フィルタ、カテゴリ分類とダウンサンプリング、コード抽出、fastText によるコード分類を用いる。合成データは、英語高品質データの日本語翻訳、日本語 Wikipedia の言い換え、既存コードデータへのコメント付与と再生成、Magicoder 風のプロンプト生成、GSM8K / Lila を seed とする数学問題生成から構成される。 事後学習では、llm-jp-instructions の応答再生成、Wildchat-1M の日本語・英語ユーザープロンプトの利用、英語会話の日本語翻訳、Nemotron4-340B-reward による選好データ作成を行う。OpenAI ChatGPT 由来の Wildchat 応答は利用規約を避けるため削除し、ユーザープロンプトだけを使って別 LLM で応答を生成している。 ### 重み再利用と枝刈り 重み再利用は、小さい DNN モデルの重みを大きいモデルの初期値に使う手法であり、PLaMo 2 の予備実験ではランダム初期化より訓練損失が一貫して低くなった。枝刈りでは、PLaMo 2 31B から PLaMo 2.1 8B を作る。Minitron に近い構造化枝刈りと再学習を組み合わせ、31B モデルを教師として KL ダイバージェンス損失で知識蒸留する。メモリ削減のため、教師ロジットは語彙 100,000 全体でなく上位 128 トークンに制限する。 **Figure 2: Weight reusing** ![[_attachments/arxiv-2509.04897/fig02-weight-reusing-loss.png]] (Figure 2. 8B モデルの訓練損失。重み再利用初期化はランダム初期化より低い損失を維持する。Source: PLaMo 2 Technical Report.) **Figure 3: Pruning process** ![[_attachments/arxiv-2509.04897/fig03-pruning-process.png]] (Figure 3. PLaMo 2 31B を教師として、枝刈り後の重みを再学習し PLaMo 2.1 8B を得る流れ。Source: PLaMo 2 Technical Report.) ### 長文脈対応 継続事前学習(CPT)では、SWA のウィンドウを 32K 文脈長に合わせて拡大し、Adjustable Base Frequency RoPE を使う。RoPE の base frequency は Gemma-3 と同じ 1,000,000 に設定する。チェックポイント選択は Phonebook の最高スコアだけでなく、一般的な日本語生成能力を測る pfgen-bench とのバランスで行う。 **Figure 4: PLaMo 2-1B before CPT** ![[_attachments/arxiv-2509.04897/fig04-plamo-phonebook-before-cpt.png]] ![[_attachments/arxiv-2509.04897/fig04-plamo-passkey-before-cpt.png]] (Figure 4. PLaMo 2-1B SFT は Phonebook / Passkey Retrieval で SWA ウィンドウ外の情報検索に失敗しやすい。Source: PLaMo 2 Technical Report.) **Figure 5: Falcon3-Mamba baseline** ![[_attachments/arxiv-2509.04897/fig05-falcon-phonebook.png]] ![[_attachments/arxiv-2509.04897/fig05-falcon-passkey.png]] (Figure 5. Falcon3-Mamba-7B-Instruct は Passkey Retrieval では高性能だが、Phonebook では短い文脈でも性能が落ちる。著者らは SSM が任意位置の高解像度検索を苦手とする証拠として扱う。Source: PLaMo 2 Technical Report.) **Figure 6: PLaMo 2-31B after CPT** ![[_attachments/arxiv-2509.04897/fig06-plamo-phonebook-after-cpt.png]] (Figure 6. 1.75B トークンの CPT 後、PLaMo 2-31B の Phonebook 精度は 32K 文脈まで大幅に改善する。Source: PLaMo 2 Technical Report.) ### 推論最適化 PLaMo 2.0-31B は vLLM Model API で実装される。PLaMo 2 の Mamba 層には、通常の Mamba 実装と異なる点として、causal conv1d と selective scan の間の状態パラメータへの線形射影、selective scan 後の RMSNorm 非搭載があるため、カスタム Mamba 層が必要になった。推論側では、パイプライン並列、テンソル並列、チャンク化プリフィル、attention 部分への `torch.compile` 適用を使う。 量子化では、GPTQ による INT4 重み量子化で 31B モデルの重みサイズを 63GB から 17GB へ削減する。KV キャッシュは E4M3 / E5M2 の FP8 静的量子化を評価し、BF16 の約 110KB/トークンから約 54KB/トークンへ半減させる。精度ベンチマークでは、4 ビット重み量子化と FP8 KV キャッシュ量子化の劣化は小さいと報告される。 ## 新規性 本報告の新規性は、単一の技術ではなく、日本語 LLM 開発で必要な複数の制約を統合した点にある。Samba ベースの効率的アーキテクチャを採用しつつ、長距離検索性能の限界を実験で確認し、CPT でフルアテンションへ移行する判断を取る。さらに、31B モデルから 8B モデルを枝刈り・蒸留することで、同じ 8B 規模でも訓練トークンと FLOPs を大幅に抑えて性能を上げる。推論実装では、vLLM の既存 Transformer 前提に合わせるのではなく、PLaMo 2 固有の Mamba 層と KV/Mamba state 管理に対応する。 ## 実験設定 事前学習評価では、PLaMo 2 8B、PLaMo 2.1 8B、PLaMo 2 31B、pfnet/plamo-100b と、Qwen2.5 / Qwen3 / Llama-3.1-Swallow / sarashina2 / ABEJA-Qwen2.5 を比較する。評価指標は JMMLU、MMLU、JHumanEval、HumanEval+、pfgen-bench、WMT20、日本固有タスクを含む。 事後学習評価では、Jaster、M-IFEval 日本語サブセット、ELYZA-tasks-100、pfgen-bench を使う。8B クラスでは Qwen2.5-7B-Instruct、Qwen3-8B、Llama-3.1-8B-Instruct、31B クラスでは PLaMo 1.0 Prime、Qwen2.5-32B-Instruct、Qwen3-32B、Mistral-Small-3.1-24B-Instruct-2503、gemma-3-27b-it、gpt-4o-mini と比較する。 ## 実験結果 ### 事前学習評価 PLaMo 2.1 8B は、JMMLU 0.635、MMLU 0.635 で、PLaMo-100B の JMMLU 0.575、MMLU 0.603 を上回るが、Qwen3-8B-Base の 0.714 / 0.765 には及ばない。著者らは、JMMLU に必要な知識領域では言語依存性が比較的低いため、英語・中国語で強い Qwen が日本語でも強いと解釈する。 | Model | JMMLU | MMLU | |---|---:|---:| | Qwen/Qwen3-8B-Base | 0.714 | 0.765 | | PLaMo 2.1 8B | 0.635 | 0.635 | | PLaMo 2 31B | 0.672 | 0.681 | | pfnet/plamo-100b | 0.575 | 0.603 | pfgen-bench では PLaMo 2.1 8B が 0.725、PLaMo 2 31B が 0.817、PLaMo-100B が 0.747 で、日本語生成能力の強さを示す。日本固有タスク平均では PLaMo 2.1 8B が 0.87、PLaMo 2 31B が 0.90、PLaMo-100B が 0.85 であり、翻訳データを含む訓練でも日本固有知識の劣化が見られないとされる。 ### 枝刈り効率 表6では、PLaMo 2.1 8B が 500B トークン、55,000 × 10^18 FLOPs、JMMLU 0.672 と報告される。PLaMo 2 8B は 6T トークン、288,000 × 10^18 FLOPs、JMMLU 0.572、PLaMo 2 31B は 2T トークン、372,000 × 10^18 FLOPs、JMMLU 0.635 である。表の JMMLU 値は表1の PLaMo 2.1 8B と PLaMo 2 31B の値と入れ替わっているように見えるため、source 側では数値をそのまま記録し、解釈には注意が必要である。 | Model | Training Tokens | Computing Resource (10^18 FLOPs) | JMMLU | |---|---:|---:|---:| | PLaMo 2 8B | 6T | 288,000 | 0.572 | | PLaMo 2.1 8B | 500B | 55,000 | 0.672 | | PLaMo 2 31B | 2T | 372,000 | 0.635 | ### 事後学習評価 Jaster では、PLaMo 2.1-8B が AVG 0.626、PLaMo 2.0-31B が AVG 0.665 で、同規模比較対象の多くを上回る。M-IFEval 日本語サブセットでは、PLaMo 2.1-8B が AVG 0.630、PLaMo 2.0-31B が AVG 0.677 を示し、PLaMo 1.0 Prime の 0.342 から大幅に改善する。ELYZA-tasks-100 では、PLaMo 2.1-8B は非推論モデルの中で強いが、31B クラスでは Qwen3-32B thinking、Qwen2.5-32B-Instruct、gemma-3-27b-it より低い。著者らは、多段推論や数学的推論に改善余地があると述べる。 pfgen-bench では、PLaMo 2.1-8B が 0.893、PLaMo 2.0-31B が 0.890 を示し、同程度のパラメータ数の比較対象を上回る。これは日本語流暢性、日本固有常識、回答の有用性で優位性を持つことを示す。 ### 量子化評価 量子化後の PLaMo 2.0-31B は、Jaster、M-IFEval、pfgen-bench、BFCL V2 simple の各評価で大きな劣化を示さない。例えば Jaster AVG は BF16/BF16 で 0.665、INT4/BF16 で 0.671、INT4/FP8(E4M3) で 0.662 である。M-IFEval AVG は BF16/BF16 で 0.677、INT4/FP8(E4M3) で 0.684 である。 ## 考察 PLaMo 2 は、長文脈対応のために単に効率的アーキテクチャを採用するだけでは不十分であることを示す。Samba 型構成は計算・メモリ効率に利点があるが、Phonebook のような任意位置検索では SWA と SSM の情報圧縮が制約になる。このため、実用モデルでは効率化モジュールとフルアテンションの役割分担、または訓練段階でのアーキテクチャ移行が重要になる。 枝刈りと蒸留の結果は、モデル系列を複数サイズで用意する場合、最初から各サイズを独立訓練するより、大型モデルを作ってから小型派生モデルへ圧縮する方が効率的でありうることを示す。ただし、表6の計算資源は教師となる 31B モデルの訓練計算を除外しているため、全体プロジェクトの総計算量として読むべきではない。 推論最適化の章は、PLaMo 2 がモデルアーキテクチャとサービング実装の協調設計を必要とすることを示す。特に、Mamba state と KV キャッシュが同居するハイブリッドモデルでは、vLLM の Transformer 前提の管理機構をそのまま使えず、状態管理、チャンク化プリフィル、コンパイル、量子化を個別に調整する必要がある。 ## 強み / 弱点・課題 強みは、日本語 LLM 開発をデータ、モデル、訓練、事後学習、推論実装まで一貫して記述している点である。特に、Samba 型モデルの長距離検索限界を実験で認めた上で設計変更している点、枝刈りと蒸留を日本語性能で評価している点、vLLM 実装と量子化まで含む点が価値を持つ。 弱点・課題は、複雑な多段推論や数学的推論では Qwen3 thinking などに劣ること、M-IFEval が自動検証可能な単純指示に限られること、表6の JMMLU 値と表1の値に整合しない箇所があること、枝刈り効率の計算が教師モデル訓練コストを除外していることだ。合成データ生成の規模や品質管理、モデル公開後の実運用フィードバックについても詳細は限定的である。 ## 関連 - エンティティ: [[Preferred Networks]] / [[PLaMo 2]] / [[vLLM]] - 概念: [[ハイブリッドアテンションアーキテクチャ]] / [[スライディングウィンドウアテンション]] / [[状態空間モデル]] / [[モデル圧縮]] / [[LLM推論]] / [[KVキャッシュ管理]] - 関連 MOC: [[LLM4SRE - MOC]]