# DeepMind ## 概要 DeepMind（現 Google DeepMind）は英国ロンドンを拠点とする人工知能研究機関であり、Google（Alphabet）の傘下にある。強化学習・大規模言語モデル・科学応用 AI など幅広い研究分野で著名な成果を出してきた。本 wiki では主に大規模言語モデル研究の文脈で登場する。(Source: [[@2022__arXiv__Training Compute-Optimal Large Language Models]]) ## 大規模言語モデル研究 DeepMind は 2021〜2022 年にかけて以下の主要モデルを発表した： - **Gopher (280B)**（Rae et al., 2021）：MassiveText で約 3,000 億トークン訓練した 2,800 億パラメータの密なトランスフォーマー - **Chinchilla (70B)**（Hoffmann et al., 2022）：Gopher と同一計算予算で訓練した計算最適モデル。700 億パラメータ・1.4 兆トークン。(Source: [[@2022__arXiv__Training Compute-Optimal Large Language Models]]) Chinchilla の結果は「より大きなモデルを少ないデータで訓練する」という当時の業界のトレンドを覆し、[[計算最適訓練]]という概念を確立した。 ## 外部メモリ研究 2014年にAlex Graves・Greg Wayne・Ivo Danihelkaが、ニューラルネットワークのコントローラへ微分可能な外部メモリを結合する[[Neural Turing Machine]]を発表した。内容と位置のアドレス指定を学習し、コピー・連想想起・整列などの合成課題で通常のLSTMより長い系列へ汎化する挙動を示した。これはDeepMindの後年の大規模言語モデル研究より前に、ニューラル計算と明示的メモリを分離した成果である。(Source: [[@2026__30papers__Neural Turing Machines]]) ## 関係推論研究 2017年にAdam Santoro・David Raposoらが、全オブジェクト対へ共有二項関数を適用して加算集約する[[Relation Network]]を発表した。関係計算の帰納バイアスをCNN・LSTMへプラグイン可能な形にし、CLEVR、bAbI、動的物理系で評価した。これは知覚表現と推論機構を分離しつつ、両者をエンドツーエンドで学習する研究系譜に位置づけられる。(Source: [[@2026__30papers__A Simple Neural Network Module for Relational Reasoning]]) 2018年には同じAdam Santoro・David Raposoらが、固定個数の記憶スロット間へ自己アテンションを適用し、LSTM型ゲートで時間方向へ更新する[[Relational Memory Core]]へ発展させた。静的集合の全対象対推論から、時刻をまたいで蓄積した記憶同士の選択的相互作用へ射程を拡張した。(Source: [[@2026__30papers__Relational Recurrent Neural Networks]]) ## 関連 - エンティティ: [[Jordan Hoffmann]] / [[Sebastian Borgeaud]] / [[Arthur Mensch]] - 概念: [[スケーリング則]] / [[計算最適訓練]] / [[メモリ拡張ニューラルネットワーク]] / [[関係推論]] - ソース: [[@2022__arXiv__Training Compute-Optimal Large Language Models]] / [[@2026__30papers__Neural Turing Machines]] / [[@2026__30papers__A Simple Neural Network Module for Relational Reasoning]] / [[@2026__30papers__Relational Recurrent Neural Networks]] ## 出典 - [[@2022__arXiv__Training Compute-Optimal Large Language Models]]（著者所属、Table 1、§4 Chinchilla、Acknowledgements） - [[@2026__30papers__Neural Turing Machines]] - [[@2026__30papers__A Simple Neural Network Module for Relational Reasoning]] - [[@2026__30papers__Relational Recurrent Neural Networks]] - [[@2026__Nature__An AI system to help scientists write expert-level empirical software]]（Eser Aygün・Gheorghe Comanici・David Smalling・Anna Bulanova・Shibl Mourad（責任著者）ほかが Google DeepMind モントリオール所属）