# InternEvo [[Shanghai AI Laboratory]] の LLM 事前学習フレームワーク。初期版は [[Megatron-LM]] に近い 3D parallelism と階層的 ZeRO 機構を用い、モデル状態の選択的シャーディングによって通信オーバーヘッドと GPU メモリ使用量のトレードオフを取る。[[Acme]] の 123B LLM・2,048 GPU のプロファイルでは、InternEvo V2 が V1 よりアイドル期間を削減し、約 16% 高速化した。(Source: [[@2024__USENIX login Online__Understanding Workload Characteristics in Large Language Model Development]]) ## 関連 - 開発組織: [[Shanghai AI Laboratory]] - 評価環境: [[Acme]] - 関連技術: [[Megatron-LM]] / [[DeepSpeed]] / [[並列化戦略]]