## Memo ## Memo with LLM ## Abstract 最近の研究では、多くの自然言語処理タスクやベンチマークにおいて、大規模なテキストコーパスで事前学習を行い、その後特定のタスクで微調整を行うことで、大幅な改善が実証されている。一般的にタスクにとらわれないアーキテクチャではあるが、この方法では、数千から数万例のタスク固有の微調整データセットが必要である。対照的に、人間はわずかな例や簡単な指示から新しい言語タスクを実行することができる。本論文では、言語モデルをスケールアップすることで、タスクに依存しない、数個の例からしか得られない性能が大幅に向上することを示す。具体的には、1,750億個のパラメータを持つ自己回帰型言語モデル[[GPT-3]]を学習し、その性能をテストする。全てのタスクにおいて、GPT-3は勾配更新や微調整なしに適用され、タスクと少数ショットのデモはモデルとのテキスト対話によって純粋に指定される。GPT-3は、翻訳、質問応答、クロースタスク、また、単語のスクランブル解除、文中の新規単語の使用、3桁の算数の実行など、その場での推論や領域適応を必要とするいくつかのタスクを含む、多くのNLPデータセットで強力な性能を達成した。同時に、GPT-3の数発学習がまだ苦戦しているいくつかのデータセットや、GPT-3がメスに直面しているいくつかのデータセットも確認した。