[汎用言語モデル「BERT」のビジネス実用化技術に迫る | NTT技術ジャーナル](https://journal.ntt.co.jp/article/11275) > BERTはGoogleが開発した汎用自然言語処理モデルです。2018年に発表 > BERTの強みはさまざまなドメインやタスクの課題を単一のモデルで解くことができる点です。BERT以前のタスク特化型モデルでは、解きたい課題に対して言語自体の特徴を含めゼロから学習を始めるため、課題ごとに多数の教師＊2データが必要でした。BERTは大規模な文章群による教師なし事前学習を行うことで、教師データを必要とせずに汎用的なモデルをつくり上げています。このように、大量の自然文をそのまま使うだけで汎用言語モデルを構築できる仕組みをつくり上げたことが、BERTの功績といえます。