[松尾研 LLM講座 講義コンテンツ | 東京大学松尾研究室 - Matsuo Lab](https://weblab.t.u-tokyo.ac.jp/llm_contents/) 松尾研究室が2023年9~10月に東京大学サマースクールで開催した[[LLM]]大規模言語モデル講座のコンテンツ ## 講義内容 ### 第1回：Overview of Language Models LLMの概要、今後の各回の講義の概要、および日本のLLM開発状況について ### 第2回：Prompting and Augmented Language Model 事前学習済みLLMを追加学習せずに活用する技術（プロンプティング、[[In-Context Learning|文脈内学習]]、Augmented Language Models）について ### 第3回：Pre-training Pipeline LLMの主流なモデル構造である[[Transformer]]と、その事前学習の仕組みについて ### 第4回：Scaling Pre-training LLMをスケール（大規模化）する理由、スケールにおける課題、スケールしたモデルを学習する⽅法について ### 第5回：Parameter Efficient Finetuning LLMの[[ファインチューニング]]（タスク適応・ドメイン適応を実現するためのFinetuning、対話性能やzero-shot・few-shot性能を向上するInstruction Tuning、および効率的なFinetuning手法であるParameter Efficient Finetuning）について ### 第6回：RLHF, Advanced Topic for Tuning Pre-trained Models [[RLHF]](Reinforcement Learning from Human Feedback) について ### 第7回：Going Beyond LLM 理研AIP 研究員 栗田修平氏による特別講義（「Going Beyond LLM」、LLM構築における実践的なナレッジやLLMのマルチモーダル化について）