# DeepMind ## 概要 DeepMind（現 Google DeepMind）は英国ロンドンを拠点とする人工知能研究機関であり、Google（Alphabet）の傘下にある。強化学習・大規模言語モデル・科学応用 AI など幅広い研究分野で著名な成果を出してきた。本 wiki では主に大規模言語モデル研究の文脈で登場する。(Source: [[@2022__arXiv__Training Compute-Optimal Large Language Models]]) ## 大規模言語モデル研究 DeepMind は 2021〜2022 年にかけて以下の主要モデルを発表した： - **Gopher (280B)**（Rae et al., 2021）：MassiveText で約 3,000 億トークン訓練した 2,800 億パラメータの密なトランスフォーマー - **Chinchilla (70B)**（Hoffmann et al., 2022）：Gopher と同一計算予算で訓練した計算最適モデル。700 億パラメータ・1.4 兆トークン。(Source: [[@2022__arXiv__Training Compute-Optimal Large Language Models]]) Chinchilla の結果は「より大きなモデルを少ないデータで訓練する」という当時の業界のトレンドを覆し、[[計算最適訓練]]という概念を確立した。 ## 外部メモリ研究 2014年にAlex Graves・Greg Wayne・Ivo Danihelkaが、ニューラルネットワークのコントローラへ微分可能な外部メモリを結合する[[Neural Turing Machine]]を発表した。内容と位置のアドレス指定を学習し、コピー・連想想起・整列などの合成課題で通常のLSTMより長い系列へ汎化する挙動を示した。これはDeepMindの後年の大規模言語モデル研究より前に、ニューラル計算と明示的メモリを分離した成果である。(Source: [[@2026__30papers__Neural Turing Machines]]) ## 関係推論研究 2017年にAdam Santoro・David Raposoらが、全オブジェクト対へ共有二項関数を適用して加算集約する[[Relation Network]]を発表した。関係計算の帰納バイアスをCNN・LSTMへプラグイン可能な形にし、CLEVR、bAbI、動的物理系で評価した。これは知覚表現と推論機構を分離しつつ、両者をエンドツーエンドで学習する研究系譜に位置づけられる。(Source: [[@2026__30papers__A Simple Neural Network Module for Relational Reasoning]]) 2018年には同じAdam Santoro・David Raposoらが、固定個数の記憶スロット間へ自己アテンションを適用し、LSTM型ゲートで時間方向へ更新する[[Relational Memory Core]]へ発展させた。静的集合の全対象対推論から、時刻をまたいで蓄積した記憶同士の選択的相互作用へ射程を拡張した。(Source: [[@2026__30papers__Relational Recurrent Neural Networks]]) ## 強化学習とディープラーニングの融合(AlphaGo, 2016年) DeepMindは強化学習とディープラーニングの融合を進め、2016年にコンピュータ囲碁AlphaGoが当時のトップ棋士の一人Lee Sedolに勝利した。『ディープラーニングを支える技術』第1章はこれを人工知能の進歩を象徴づける出来事として位置づける。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]]) 続編『ディープラーニングを支える技術〈2〉』第4章は、[[AlphaGo]] の学習パイプライン(教師あり学習による方策初期化→自己対戦の強化学習→状態価値ネットワーク→モンテカルロ木探索)と、その後継 AlphaGo Zero(2017年、人の棋譜不要)・AlphaZero(2018年、チェス・将棋にも拡張)・MuZero(2020年、環境シミュレータ不要)への発展を詳述する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 4 深層強化学習]]) ## AlphaFold(タンパク質構造予測) 同章の「数字で見るディープラーニングの今」(図1.A)は、アミノ酸配列からタンパク質の立体構造を予測するAlphaFold(2021年)を、層数の増大を示す代表例として挙げる。入力から出力まで1500層(繰り返しを含む)が使われており、AlexNetの11層から大きく増大した例として位置づけられる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]]) ## データセンター冷却管理(2016年) Google はデータセンター内の数千ものユニットがすでに収集していた履歴センサーデータ(温度・電力・ポンプ速度・セットポイント等)を活用し、将来の平均PUE(Power Usage Effectiveness＝電力使用効率)に関してディープニューラルネットワークのアンサンブルをDeepMindがトレーニングし、このモデルをデータセンターの冷却システム上で直接使用・テストした。『SREの探求』第18章はこれを、ある事例でエネルギー使用量の40%削減を達成した成功事例として紹介する。同章はAlphaGoの強化学習研究(2015年、囲碁で樊麾（ファン・フイ）に勝利)にも触れ、探索アルゴリズムを用いるDeep Blueのアプローチとの対比(表18-1)を示す——ただし2018年執筆時点の記述であり、AlphaGo Zero・AlphaZero・MuZero等の後継研究には言及していない。(Source: [[@2021__OReillyJapan__SREの探求 - Chapter 18 SREのための機械学習入門]] §18.4.2, §18.7) ## 関連 - エンティティ: [[Jordan Hoffmann]] / [[Sebastian Borgeaud]] / [[Arthur Mensch]] / [[AlphaGo]] / [[AlphaEvolve]] - 概念: [[スケーリング則]] / [[計算最適訓練]] / [[メモリ拡張ニューラルネットワーク]] / [[関係推論]] / [[強化学習]] / [[モンテカルロ木探索]] / [[データセンター信頼性]] - ソース: [[@2022__arXiv__Training Compute-Optimal Large Language Models]] / [[@2026__30papers__Neural Turing Machines]] / [[@2026__30papers__A Simple Neural Network Module for Relational Reasoning]] / [[@2026__30papers__Relational Recurrent Neural Networks]] / [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]] / [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 4 深層強化学習]] / [[@2021__OReillyJapan__SREの探求 - Chapter 18 SREのための機械学習入門]] / [[@2026__arXiv__Dream-RSI - Recursive Self-Improvement through Evolving Worlds]] / [[@2026__Google__AI in Science - Early Insights]] / [[@2025__Google DeepMind__AlphaEvolve - A coding agent for scientific and algorithmic discovery]] ## 出典 - [[@2022__arXiv__Training Compute-Optimal Large Language Models]]（著者所属、Table 1、§4 Chinchilla、Acknowledgements） - [[@2026__30papers__Neural Turing Machines]] - [[@2026__30papers__A Simple Neural Network Module for Relational Reasoning]] - [[@2026__30papers__Relational Recurrent Neural Networks]] - [[@2026__Nature__An AI system to help scientists write expert-level empirical software]]（Eser Aygün・Gheorghe Comanici・David Smalling・Anna Bulanova・Shibl Mourad（責任著者）ほかが Google DeepMind モントリオール所属） - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第1章 §1.2, §1.5補足. - 岡野原大輔, 『ディープラーニングを支える技術〈2〉』, 技術評論社, 2022, 第4章, §4.14. - [[@2021__OReillyJapan__SREの探求 - Chapter 18 SREのための機械学習入門]] §18.4.2, §18.7. - [[@2026__Google__AI in Science - Early Insights]](科学における AI 活用実態と Gemini ログ・特化型モデルの分析) - [[@2025__Google DeepMind__AlphaEvolve - A coding agent for scientific and algorithmic discovery]](進化的コーディングエージェント AlphaEvolve の開発)