# BERT Bidirectional encoder representations from transformers。「事前学習」を使った言語の表現学習であり、当時の多くの言語理解タスクの最高精度を大きく更新し、自然言語処理タスクの実用化を急速に進めた。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.3) ## 学習方法 コーパス中の連続する文を境界記号でつなげ長い一つの文とし、その中の一部の単語(全体の15%程度)をランダムにマスク記号へ置き換え、マスクされた単語を予測するタスクを解けるよう学習する。正解(マスク前の元の単語)が常にコストなしで手に入るため大量の注釈なしテキストデータで学習でき、この予測を解ける過程でモデルは副産物として文全体のトピック理解を獲得する。事前学習済みモデルを他タスクへ使う際は、単語予測部分を除いたネットワークにタスク特有のネットワークを付け足し、教師あり学習で全体を微調整(fine-tuning)する。事前学習時は文の一部がマスクされた入力を、下流タスクではすべての入力を使うという分布の違いに対応するため、予測対象単語はすべてマスク記号に置き換えるのではなく一部はそのまま残し一部はランダムな単語に置き換える。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.3) ## モデル Transformer(BERTでは復号部のみ利用)という自己注意機構をモデルとして使う。 ## 成功理由(3点) 1. **自己注意機構による表現力の向上**: 周囲の単語から情報を自由に集められ、内容に応じて特定の情報を瞬時に集める処理は全結合層(パラメータ数が過大)や畳み込み層(受容野が小さい)では扱えない。 2. **前後の文脈情報を見た深い理解**: 従来の(次単語を予測する)言語モデルは生成モデルとして解釈できるが、BERTは前後の文脈を見てランダムにマスクされた単語を復元するという人工的なタスクを解くことで特徴を学習し、人が文章の前後を行き来しながら理解を深める過程に近い。 3. **大量のコーパスと大きなモデル**: 教師情報の不要なテキストデータは実質無尽蔵に利用でき、Transformerは大きくして表現力を上げやすく、数千GPUで数ヵ月という規模の学習を可能にする計算環境も整った。 言語理解の多くのタスクは文から文への変換タスクとみなせ、クエリ文にタスクを表す質問を加えることで感情分析・言い換え・意味の同一性判定・語義曖昧性解消・質問応答など多様なタスクを単一モデルで解けるようになった。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.3) ## 関連 - 概念: [[言語モデル事前学習]] / [[注意機構]] / [[Transformer]] - 対比: [[GPT-2]] / [[GPT-3]](自己回帰言語モデルによる事前学習) - 章: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] ## 出典 - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第5章 §5.3.