## 概要 Google Brain は [[Google]] の AI 研究部門であり、深層学習の基礎的アーキテクチャを多数生み出した。2017 年に Transformer(Attention Is All You Need)とスパースゲート型 MoE(Outrageously Large Neural Networks)という 2 つの基礎論文を相次いで発表し、後の LLM の基盤を確立した。 ## 主な貢献 - **[[@2017__ICLR__Outrageously Large Neural Networks The Sparsely-Gated Mixture-of-Experts Layer]]**: スパースゲート型 MoE 層を提案。[[Noam Shazeer]]・[[Azalia Mirhoseini]]・[[Jeffrey Dean]]・[[Quoc V. Le]]・[[Geoffrey Hinton]] が参加。条件付き計算を初めて大規模に実証した。 - [[@2017__NeurIPS__Attention Is All You Need]]: Transformer アーキテクチャの設計・実装・実験を主導した。tensor2tensor フレームワークの開発も行った。 - [[@2022__NeurIPS__Chain-of-Thought Prompting Elicits Reasoning in Large Language Models]]: 連鎖思考プロンプティングを提案。[[Jason Wei]]・[[Denny Zhou]] らが主導し、LLM の推論能力の創発を実証した。 - **[[@2023__ICLR__ReAct Synergizing Reasoning and Acting in Language Models]]**: LLM に推論トレースと環境行動を交互に生成させる ReAct パラダイムを提案。Jeffrey Zhao・Dian Yu・Nan Du・Izhak Shafran・Yuan Cao らが参加(Princeton の Shunyu Yao・Karthik Narasimhan との共同研究)。 ## 関連 - [[Google]] - [[@2017__ICLR__Outrageously Large Neural Networks The Sparsely-Gated Mixture-of-Experts Layer]] - [[@2017__NeurIPS__Attention Is All You Need]] - [[@2022__NeurIPS__Chain-of-Thought Prompting Elicits Reasoning in Large Language Models]] - [[Transformer]] - [[Mixture-of-Experts]] - [[Chain-of-Thought Prompting]] - [[Noam Shazeer]] - [[Azalia Mirhoseini]] - [[Geoffrey Hinton]] - [[Jeffrey Dean]] - [[Quoc V. Le]] - [[Ashish Vaswani]] - [[Łukasz Kaiser]] - [[Jason Wei]] - [[Denny Zhou]] - [[@2023__ICLR__ReAct Synergizing Reasoning and Acting in Language Models]] - [[ReAct]] - [[Shunyu Yao]]