## Memo ## Abstract AIは、大規模なデータで学習し、下流の幅広いタスクに適応できるモデル（例：[[BERT]]、[[DALL-E]]、[[GPT-3]]）の台頭により、パラダイムシフトが起こっています。我々は、これらのモデルを[[ファウンデーションモデル]]と呼び、極めて重要でありながら不完全な特徴を強調している。本報告書では、基盤モデルの可能性とリスクについて、その能力（言語、視覚、ロボット、推論、人間との対話など）や技術原理（モデルアーキテクチャ、学習手順、データ、システム、セキュリティ、評価、理論など）から応用（法律、医療、教育など）や社会的影響（不公平、誤用、経済・環境影響、法的・倫理的考察など）に至るまで徹底的に解説している。基礎モデルは標準的な[[深層学習]]と[[転移学習]]をベースにしているが、その規模は新しい創発的な能力をもたらし、多くのタスクに対するその有効性は均質化を促している。均質化は強力なレバレッジを提供しますが、基盤モデルの欠陥が下流のすべての適応モデルに継承されるため、注意が必要です。基盤モデルの普及が間近に迫っているにもかかわらず、基盤モデルがどのように機能し、どのような場合に失敗するのか、また、その創発的特性からどのような能力があるのかについて、現状では明確な理解が得られていません。これらの疑問に取り組むために、基盤モデルに関する重要な研究の多くは、その基本的な社会技術的性質に見合った深い学際的な協力が必要であると我々は考えている。 ## 1. Introduction