# Preferred Elements Preferred Networksの子会社。データ収集、事前学習、指示学習を含むLLM開発を行い、[[GENIAC]]の支援を受けて[[PLaMo-100B]]を開発した。 2024年7月から約1か月、PLaMo-100Bを基盤に1兆(1T)パラメータ級MoEの事前学習可能性を検証した。400基のH100 GPU、100Bトークンの学習、低精度オプティマイザ状態、[[Hash Layers]]によるルーティングを用いた。1T級モデルを発散なく学習できた一方、学習速度とモデル性能の十分な検証は残った。 ## 関連 - 親組織: [[Preferred Networks]] - 研究者: [[Hiroaki Mikami]] - 製品: [[PLaMo-100B]] - 概念: [[Mixture-of-Experts]] / [[Hash Layers]] / [[LLM分散学習]] ## 出典 - [[@2024__Preferred Networks__1,000億パラメータ規模の独自LLM「PLaMo-100B」の事前学習]] - [[@2024__Preferred Networks__1兆 (1T) パラメータ規模のLLMの事前学習検証]]