# DeepMind ## 概要 DeepMind（現 Google DeepMind）は英国ロンドンを拠点とする人工知能研究機関であり、Google（Alphabet）の傘下にある。強化学習・大規模言語モデル・科学応用 AI など幅広い研究分野で著名な成果を出してきた。本 wiki では主に大規模言語モデル研究の文脈で登場する。(Source: [[@2022__arXiv__Training Compute-Optimal Large Language Models]]) ## 大規模言語モデル研究 DeepMind は 2021〜2022 年にかけて以下の主要モデルを発表した： - **Gopher (280B)**（Rae et al., 2021）：MassiveText で約 3,000 億トークン訓練した 2,800 億パラメータの密なトランスフォーマー - **Chinchilla (70B)**（Hoffmann et al., 2022）：Gopher と同一計算予算で訓練した計算最適モデル。700 億パラメータ・1.4 兆トークン。(Source: [[@2022__arXiv__Training Compute-Optimal Large Language Models]]) Chinchilla の結果は「より大きなモデルを少ないデータで訓練する」という当時の業界のトレンドを覆し、[[計算最適訓練]]という概念を確立した。 ## 関連 - エンティティ: [[Jordan Hoffmann]] / [[Sebastian Borgeaud]] / [[Arthur Mensch]] - 概念: [[スケーリング則]] / [[計算最適訓練]] - ソース: [[@2022__arXiv__Training Compute-Optimal Large Language Models]] ## 出典 - [[@2022__arXiv__Training Compute-Optimal Large Language Models]]（著者所属、Table 1、§4 Chinchilla、Acknowledgements）