# PLaMo-100B PLaMo-100Bは、[[Preferred Networks]]の子会社[[Preferred Elements]]が開発した1,000億パラメータ規模のLLMである。[[GENIAC]]の支援のもと、データ収集から事前学習までを自社で実施し、日本語・英語の合計2Tトークンで学習した。 ## 事前学習の特徴 - 日本語0.7Tトークン、英語1.3Tトークン。前半1.5Tと後半0.5Tでデータ比率を変更 - Common Crawlの2017〜2024年20ダンプから約460Bトークンの日本語コーパスを構築 - QK Normalizationとz lossを導入し、Llama 2・Llama 3に近いアーキテクチャを採用 - 3D parallelismとZero Bubbleを用い、約540 TFLOP/s/GPUを達成 - lm-headはFP8ではなくBF16で計算。FP8使用時にz lossが大きくなり、下流ベンチマーク性能が悪化したため 事前学習版はJaster 4-shot平均0.678、MMLU 5-shot正解率0.603だった。5月13日時点の暫定指示学習版はJaster 0.712、MMLU 0.569であった。 ## 1T級MoEへの拡張 2024年の検証では、PLaMo-100Bを基盤にMLP部分をMoE化し、パラメータ数を約1Tへ拡張した。レイヤ数などを1T級のモデル並列に合わせ、DeepSeek MoEを参考にshared expertを導入した。 1T版は400基の[[NVIDIA H100]] GPU、100Bトークンで学習された。AdamWのオプティマイザ状態を低精度化して使用メモリを約4〜5TBへ削減したが、通常の学習型Routerは特定エキスパートへ崩壊した。[[Hash Layers]]へ移行後は最終train loss約1.57を得た。 1T版の実効効率は約220 TFLOP/s/GPUであり、PLaMo-100Bの約540 TFLOP/s/GPUを下回った。MoEのメモリアクセス量、バッチサイズ、再計算、モデル並列の最適化が今後の課題である。 ## 関連 - 開発元: [[Preferred Networks]] / [[Preferred Elements]] - 後継系列: [[PLaMo 2]] - 概念: [[Mixture-of-Experts]] / [[Hash Layers]] / [[負荷分散]] / [[LLMスケーリング則]] / [[言語モデル事前学習]] / [[混合精度訓練]] ## 出典 - [[@2024__Preferred Networks__1,000億パラメータ規模の独自LLM「PLaMo-100B」の事前学習]] - [[@2024__Preferred Networks__1兆 (1T) パラメータ規模のLLMの事前学習検証]] - [[@2025__arXiv__PLaMo 2 Technical Report]]