# Pax [[Google]] が開発した JAX ベースの分散学習フレームワーク。PaLM-2 と Bard の学習に用いられた。スケーラビリティを重視し、テキスト・ビジョン・音声を含むモダリティ横断の大規模モデル学習の参照例を持つ。データ並列・テンソル並列に対応し、JAX エコシステムの SeqIO(データ処理)・Optax(最適化)・Fiddle(設定)・Orbax(チェックポイント)・PyGLove(自動微分)・Flax(ニューラルネットワーク構築)と統合される。(Source: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]], Table 2) ## 関連 - ソース: [[@2024__TMLR__Efficient Large Language Models - A Survey - Chapter 4 LLM Frameworks]] - 開発機関: [[Google]] - 学習実績: PaLM-2 / Bard - 概念: [[並列化戦略]] / [[LLM分散学習]]