# Llama3 [[Meta]]が開発し2024年4月に公開したオープンな大規模言語モデル(LLM)シリーズ。デコーダのみトランスフォーマ(Decoder-only transformer)アーキテクチャを採用した生成的事前学習変換器(GPT)であり、正規化にRMSNorm、順方向処理の活性化にSwiGLU(SiLU/Swishベースのゲート付き線形層)を用いる。複数ヘッド法(MHA)のうちグループクエリ法(GQA)を採用し、KVヘッド数が注意ヘッド数より少ない設計になっている。(Source: [[@2026__技術評論社__実践的パフォーマンスエンジニアリングによるAI高速化 - Chapter 1 パフォーマンスエンジニアリング概論]]) 『実践的パフォーマンスエンジニアリングによるAI高速化』の実践編(4〜6章)では、次の3種類のモデルを使い分ける。 - **meta-llama/Meta-Llama-3-8B-Instruct**(約80億パラメータ): 4章の推論題材。 - **meta-llama/Llama-3.2-1B**(約10億パラメータ、文脈窓幅8Ki→Llama 3.2で128Kiに拡張): 5章の事後学習題材。 - **meta-llama/Meta-Llama-3-70B**(約700億パラメータ): 6章の事前学習題材(重み値は使用せずモデル形状のみ利用)。4章でも負荷の高いモデル変更の説明用に70B-Instructを使用。 利用にはHugging Face上でのアクセス要求・承認が必要なGatedモデルである。(Source: [[@2026__技術評論社__実践的パフォーマンスエンジニアリングによるAI高速化 - Chapter 1 パフォーマンスエンジニアリング概論]]) ## 関連 - 開発元: [[Meta]] - 書籍: [[実践的パフォーマンスエンジニアリングによるAI高速化]] - 概念: [[パフォーマンスエンジニアリング]] - 出典: [[@2026__技術評論社__実践的パフォーマンスエンジニアリングによるAI高速化 - Chapter 1 パフォーマンスエンジニアリング概論]]