# InternLM [[Shanghai AI Laboratory]] が開発する LLM シリーズ。7B〜123B+ パラメータ、[[GPT-3]]/[[LLaMA]] 系統の transformer decoder-only アーキテクチャを採用する。事前学習・SFT・MLLM・評価の各ジョブは [[Acme]] の Seren/Kalos クラスタで [[InternEvo]] 上に走り、モデルは Hugging Face <https://huggingface.co/internlm> で公開される。同じプロジェクトから [[AcmeTrace]] と本論文の Fault-tolerant Pretraining・Decoupled Scheduling 実装が派生する。(Source: [[@2024__NSDI__Characterization of Large Language Model Development in the Datacenter]])