[生成AIの本を執筆する者は一切の希望を捨てよ\~2023年の生成AIと『生成AIで世界はこう変わる』執筆振り返り\~｜今井翔太@えるエル（ImAI\_Eruel）](https://note.com/imai_eruel/n/nd6bc12d18eba) ## 第１部：2023年の生成AIの展開 - [[GPT]]は，[[Transformer]]という元々はGoogleが「翻訳のために」開発したSelf-Attentionなる機構を持つちょっと変わったニューラルネットワークをWebから集めた大量のテキストで学習した言語モデル - 実はGPTを使って対話形式のサービスを作るという発想は，そこまで自明のものではない - 現在でも一般的には割と知られていない事実として，Transformerそのものには記憶能力はない - ChatGPT実現には，強化学習の役割が大きかった - 不適切な発言を[[RLHF]]によって解決 - [[AIアラインメント]] - [[Galactica]] - [[Hallcination]] - [[GPT-4]]の公開 - [[AIエージェント]] ## 生成AIの本を執筆することの難しさ ## 『生成AIで世界はこう変わる』執筆振り返り - 国会議員からの質問「今のインターネット上には，〇〇という概念と△△という概念が同時に記述されている文章は見当たらない．しかも意味もだいぶ違うはずだ．しかし，ChatGPTはこの概念同士の関係を適切に把握し，出力も既存文章にはないようなアイディアのように見える．これはなぜか．」 - AIの研究者が書いた技術以外の未来予測的な論文 - GPTs are GPTs - これはChatGPTのような言語生成AIが電気やトランジスタのような「汎用技術（GPT, General Purpose Technology）である」とした上で，労働に与える影響を論じたもの - 人工知能大事典 - [[人工知能は人間を超えるか ディープラーニングの先にあるもの]] - オズボーン論文