# 自己教師あり学習 ## 定義 自己教師あり学習(self-supervised learning)とは、[[教師なし学習]]の問題設定を工夫することで、入力から自動的に訓練データ(教師ありデータ)を作り、[[教師あり学習]]の枠組みで学習する手法である。正解が付いていない時系列データからある時刻までの履歴でその先の未来を予測するタスク、画像の左半分から右半分を予測するタスク、一部分から全体を予測するタスク、テキストの一部を消去し周囲からそれを予測するタスクなどが該当する。自己教師あり学習では、与えられた問題を解けるようになること自体が目的ではなく、その問題を解く過程で最適な表現方法を副次的に得ることが目的となる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.4) ## 対照学習による画像表現獲得の例 与えられた画像に対し、画像の意味を変えないような2種類の変換(回転・縮小、ノイズ付加など)を適用し、これら2つの変換結果から計算した表現ベクトルが互いに似るように、かつ異なる画像から得られた表現ベクトルとは異なるように学習する。この学習を進めると、意味を変えない変換に対しては不変で、意味の異なる画像は見極められるような表現ベクトルとその変換方法が獲得される。このような自己教師あり学習による事前学習によって、大量の教師データを使わずに少量の学習データだけで高性能な分類器を作成できることがわかっている。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.4) ## 生成モデルとの関係 生成モデルは、自己教師あり学習による表現学習の一つのアプローチとみなすことができる。「全体や残りを生成する」というタスクをこなすことで、副次的に良い表現方法を獲得できるためである。ただし生成モデルは表現学習以外の生成タスクにも利用される。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.4) ## 2つの系統: 予測型と対比型(『ディープラーニングを支える技術〈2〉』第5章) 『ディープラーニングを支える技術〈2〉』第5章は、自己教師あり学習を「予測に基づくアプローチ」と「対比学習に基づくアプローチ」の2系統に整理する。過去から未来を予測する、または入力の一部を隠し残りから予測する予測型アプローチはおもに自然言語処理の表現学習で成功しており、Word2vec(2013、単語列から次の単語を予測)、BERT(2018、文の一部の単語をマスクし残りから予測)、GPT-3(2020、自己回帰型言語モデル)がその系譜である。共通する情報を持つデータ間の表現を近づけ、持っていないデータ間の表現を遠ざける対比学習は、おもに画像・音声処理の表現学習で成功しており、SimCLR・BYOLがその代表である。同書は、画像・音声が連続量かつ高次元で予測分布に多峰性を持つため予測型のモデル化(最尤推定による負例の暗黙的な扱い)が難しく、対比学習が選好される理由として挙げる。テキストは離散値であるためSoftmaxで多峰性をうまく表現でき予測型が有効という説明も加える。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.1) ## GPT-3による条件付け生成: ファインチューニング不要の後続タスク学習 同書は、通常の表現学習(BERT等)が事前学習後にタスク固有のファインチューニング(勾配降下法によるモデル全体の更新)を要するのに対し、GPT-3はモデルを更新せず「条件付け生成」(タスクの指示文・いくつかの事例・解いてほしい入力を並べて後続する単語列を予測させる)でタスクを学習すると説明する。事例数に応じてFew-Shot・One-Shot・Zero-Shotと呼ばれ、GPT-3はこれらの設定で従来手法を大きく上回り、大量データでのファインチューニングに匹敵する性能を達成した。事前学習に使う自己回帰モデルには、学習データ量・計算量・モデルサイズとテスト誤差の間にべき乗則(スケーリング則、[[スケーリング則]]を参照)が成り立ち、これがGPT-3の大規模化を支える発見だったと同書は位置づける。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.1) ## Masked AutoEncoder(MAE): 画像における予測型自己教師あり学習の成功 画像・音声のような連続量データでも自己回帰モデルによる予測型の表現学習が試みられているが、Masked AutoEncoder(MAE)は画像で初めて予測タスクによる自己教師あり表現学習を成功させた手法として同書に紹介される。MAEはViT(Vision Transformer)と同じモデルを使い、画像を重複しないパッチに分割し75%ものパッチをランダムにマスクして捨てた上で、残ったパッチにTransformerの符号化器・復号化器を適用しマスクされたパッチの画素を復元するよう学習する。BERTのマスク率(15%)よりも大幅に高いマスク率が必要な理由として、同書は画像が単語に比べて空間冗長性(隣接領域が同じ情報を持つ)が大きく、少ししかマスクしないと予測が容易になりすぎる点を挙げる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.1) ## SimCLRとBYOL: 対比学習の代表例 SimCLRは1枚の画像に2種類の異なるデータオーグメンテーションを適用して得た表現対を近づけ、別の画像から得た表現とはコサイン類似度に基づく対比損失で遠ざけるよう学習する。対比学習は正例だけでなく大量の負例を要し(正例のみでは常に定数を出力する表現に潰れてしまう)、負例が多いほど良い表現が得られる一方で計算量・メモリ量が増大する。BYOL(Bootstrap your own latent)は、パラメータの移動指数平均を使う目標ネットワークへは誤差逆伝播しないという工夫によって負例なしでも表現が潰れずに学習でき、大きなグラフの表現学習を初めて可能にしたと報告されている。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.1) ## 横断的知見 - **『ディープラーニングを支える技術』第2章が示す「対照学習による画像表現獲得の例」は、『ディープラーニングを支える技術〈2〉』第5章が体系化する「予測型/対比型」の2分類のうち対比型の入門的な導入であり、第5章はこれをSimCLR・BYOLという具体的手法とその失敗モード(表現の定数への潰れ)まで踏み込んで拡張する**。第2章は「意味を変えない変換2種を適用した表現を近づけ、異なる画像の表現を遠ざける」という対比学習の骨子のみを示すが、第5章はこれをコサイン類似度・温度パラメータを使った具体的な損失関数、負例の必要性とその計算コスト、負例なしで学習を安定させるBYOLの目標ネットワーク設計にまで具体化する。同じ著者による2冊の書籍が、入門書から専門書への深化という形で同一概念を異なる抽象度で扱っている好例である。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.4, [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.1) - **第2章は自己教師あり学習を単一の枠組みとして定義するが、第5章は「予測型はNLPで、対比型は画像・音声で」という適用ドメインの分岐とその理由(データの離散性・連続性、予測分布の多峰性)を与える**。第2章の定義(本ページ「## 定義」節)は自己教師あり学習全般の枠組みを示すにとどまるが、第5章はなぜ同じ「自己教師あり学習」という枠組みの中で手法がドメインごとに分岐するのかという、より踏み込んだ設計原理(離散値はSoftmaxで多峰性を表現できるが連続値は表現しにくい)を提供する。これは自己教師あり学習が単一の万能手法ではなく、データの性質に応じて予測型・対比型を使い分けるべき設計判断を伴う枠組みであることを示す。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.4, [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.1) ## 未解決の問い - 対照学習(2種類の変換から表現の一致・不一致を学習する手法)と、時系列予測・穴埋め型の自己教師あり学習は、どちらも「良い表現の副次的獲得」を目指すが、獲得される表現の性質(不変性の種類、下流タスクへの転移性能)はどこまで共通するか。 - 自己教師あり学習による事前学習が有効な「少量の学習データ」の閾値は、タスクやドメインによってどう変わるか。 - 第5章が示す「予測型はNLP、対比型は画像・音声」という分岐は、MAEの成功(画像でも予測型が成功した例)によって既に一部崩れている。予測型と対比型のどちらを選ぶべきかを決める、データの離散性・連続性以外の要因は何か(第5章はMAEの成功理由をマスク率の違いで説明するにとどまる)。 - BYOLが負例なしで表現の崩壊を回避できる理論的な理由(目標ネットワークへの誤差逆伝播の停止がなぜ学習ダイナミクスを変えるか)は、第5章では参照文献の結論を引用するにとどまる。この理論的解明はどこまで進んでいるか。 ## 関連 - source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] / [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] - concept: [[教師なし学習]] / [[教師あり学習]] / [[表現学習]] / [[対照学習]] / [[言語モデル事前学習]] / [[スケーリング則]] - 実体: [[GPT-3]] / [[BERT]] ## 出典 - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第2章, §2.4. - 岡野原大輔, 『ディープラーニングを支える技術〈2〉 ニューラルネットワーク最大の謎』, 技術評論社, 2022, 第5章, §5.1.