# Hiroaki Mikami Preferred Elements(PFE)のLLM研究者。Preferred NetworksのPLaMo 2 Technical Reportにも著者として記載されている。 2024年の記事では、PLaMo-100Bを基盤にした1Tパラメータ級MoEの事前学習検証を報告した。400基のH100 GPU、100Bトークンの短期学習、低精度オプティマイザ状態、Hash Layersによるルーティング安定化を扱う。 ## 関連 - 組織: [[Preferred Elements]] / [[Preferred Networks]] - モデル: [[PLaMo-100B]] - 概念: [[Mixture-of-Experts]] / [[Hash Layers]] / [[LLMスケーリング則]] ## 出典 - [[@2024__Preferred Networks__1兆 (1T) パラメータ規模のLLMの事前学習検証]] - [[@2025__arXiv__PLaMo 2 Technical Report]]