# 対照学習 ## 定義 対照学習(contrastive learning)とは、似ているものどうしの特徴量表現を近づけ、似ていないものどうしの特徴量表現を遠ざけるように学習する枠組みである。「似ている/似ていない」の判定に人手のラベルを使わず、正例(似ているべきペア)と負例(似ていないべきペア)をデータの構造から機械的に作れるため、[[自己教師あり学習]]の一種として扱われる。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.1) ## CLIP における対照学習の実装 CLIP(Contrastive Language-Image Pre-training)は対照学習によって、テキストと画像という異なるモダリティの特徴量を同一空間に埋め込む。$N$ 個の画像・テキスト(キャプション)のペアから $N^2$ 通りの組み合わせを作り、対角成分の $N$ 個(実際に対応するペア)を正例、残り $N^2-N$ 個を負例とする。テキスト・画像それぞれの特徴量を正規化してコサイン類似度を計算し、テキスト側を基準にした場合と画像側を基準にした場合の両方でクロスエントロピー損失を計算し、平均したものを最終的な損失とする。CLIP という名称自体がこの対照学習に由来する。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.1) 原論文は当初、画像から直接キャプションを生成する予測的な目的関数(image-to-text)を試みたが、1枚の画像に対して唯一の正解キャプションを定めることが本質的に困難でスケールもしづらいという壁に直面した。そこで、画像表現学習における先行研究が「対照的な目的関数のほうが対応する予測的な目的関数よりも優れた表現を学習できる」と報告していたことを踏まえ、対照学習に方針転換したという経緯が原論文で述べられている。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.1) BLIP は Image-Text Contrastive(ITC)損失として、画像エンコーダー(Vision Transformer)とテキストエンコーダー(BERT)の [CLS] トークン特徴量に対し「CLIP のような対照学習」の損失を採用しつつ、Image-Text Matching(ITM: 正しい画像・テキストの組か否かの2値分類)・次トークン予測(LM)という異なる性質の損失と組み合わせて多段階に学習する。対照学習が単独の学習目的というより、他の目的関数と組み合わせる基盤的な構成要素として使われる例である。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.4) ## SimCLR・BYOL: 画像における対比学習の具体的な実装(『ディープラーニングを支える技術〈2〉』第5章) 同書はこの枠組みを「対比学習(contrastive learning)」という訳語で呼び、SimCLRとBYOLを代表例として挙げる。SimCLRは1枚の画像に2種類の異なるデータオーグメンテーションを適用して得た表現対を、コサイン類似度に基づく対比損失(Softmax関数に似た形の損失で、温度パラメータ$\tau$を持つ)で近づけ、別の画像から得た表現とは遠ざけるよう学習する。正例のみを使うと常に定数を出力する表現が損失を最小化できてしまうため負例が必須だが、負例が多いほど良い表現が得られる一方で計算量・メモリ量が増大するというトレードオフがある。BYOL(Bootstrap your own latent)は、符号化器のパラメータの移動指数平均を使う「目標ニューラルネットワーク」を用意し、そこへは誤差逆伝播しないという設計により、負例なしでも表現が定数へ潰れることなく学習できることを示した。同書は、画像・音声で対比学習が予測型アプローチより選好される理由として、これらのデータが連続量かつ高次元でとりうる値が多く、予測分布が多峰性を持つため最尤推定による負例の暗黙的な扱いが難しいことを挙げる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.1) ## 横断的知見 - **同一著者(岡野原大輔)の2冊の書籍で、同じ概念に対して「対照学習」(前書第2章の趣旨から本ページが採用した訳語)と「対比学習」(続編第5章の原文の訳語)という異なる訳語が使われている**: 本ページは前書『ディープラーニングを支える技術』第2章の画像変換不変性学習の例をもとに構築されているが、続編『ディープラーニングを支える技術〈2〉』第5章はSimCLR・BYOLを紹介する箇所で一貫して「対比学習(contrastive learning)」という訳語を用いる。両者は英語の原語(contrastive learning)は共通しており、指している技術的内容(正例を近づけ負例を遠ざける学習)も同一であるため、訳語の違いは概念の分岐ではなく訳語選択の揺れと考えられる。本ページは「対比学習」をエイリアスとして追加し、両訳語が同一概念を指すことを明示する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.1) - **CLIPのモダリティ間対比学習が抱える負例のスケール問題(バッチサイズに依存する$N^2$通りの組み合わせ)は、続編第5章がSimCLR文脈で述べる「大量の負例が必要だが計算量が大きい」という一般的なトレードオフの具体例である**: 本ページの既存記述はCLIPが$N$個の画像・テキストペアから$N^2$通りの組み合わせを作り対角成分を正例とすることを説明するが、なぜ負例を多く取る必要があるかという一般原理には立ち入っていなかった。続編第5章は、正例のみでは表現が定数に潰れてしまうこと、負例が多いほど良い表現が得られる一方で計算量・メモリ量が増大することを明示し、CLIPのバッチサイズ依存性(大きなバッチほど負例が増え性能が上がるが計算コストも増す)の背後にある一般的な理由を与える。BYOLが示す「負例なしで学習を安定させる」設計(目標ネットワークへの誤差逆伝播停止)は、CLIPのようなモダリティ間対比学習にも応用可能かは両ソースとも扱っていない。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.1, [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.1) - **単一モダリティ内の変換不変性学習と、異なるモダリティ間の対応関係学習は、同じ「対照学習」という枠組みの異なる適用先である**: 『ディープラーニングを支える技術』第2章が紹介する対照学習は、1枚の画像に意味を変えない2種類の変換(回転・縮小・ノイズ付加など)を適用し、その2つの変換結果から得られる表現ベクトルを近づけ、異なる画像から得られる表現ベクトルとは遠ざけるという、単一モダリティ(画像)内での不変性の学習である。一方 CLIP の対照学習は、画像とそのキャプションという異なるモダリティのペアを近づけ、対応しないペアを遠ざけるという、モダリティ間の対応関係の学習である。前者は「同じ意味を保つ変換に対する頑健な表現」を、後者は「異なる種類のデータ間の意味的な橋渡し」を獲得目標としており、同じ正例・負例の枠組みでも何を正例とみなすかの設計(データ拡張 vs 自然に存在するペア)によって獲得される表現の性質が変わる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.4, [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.1) - **対照学習で得られる「近さ」は、情報の完全な一致を意味しない**: CLIP の対照学習は画像とテキストの特徴量を近づけるが、unCLIP の実験(タイポグラフィ攻撃で iPod と誤分類された画像から特徴量を再生成すると、iPod ではなくリンゴの画像が得られる)は、特徴量空間で近い(=分類が誘導される)ことと、含まれる情報が同じであることは別問題であることを示している。対照学習による埋め込み空間の統一は、モダリティ間の橋渡しを可能にするが、各モダリティ固有の詳細情報を消し去るわけではない。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.2) ## 未解決の問い - BYOLが示す「目標ネットワークへの誤差逆伝播停止による負例不要化」は、CLIPのようなモダリティ間対比学習にも同様に適用できるか。適用できれば、CLIPが抱える大バッチサイズ依存の計算コスト問題を緩和できる可能性がある。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.1) - 対照学習で使う負例の質(バッチ内のランダムな非対応ペア vs 意図的に難しい負例)は、獲得される表現の性質(不変性の種類、下流タスクへの転移性能)にどう影響するか。 - 単一モダリティ内の変換不変性を狙う対照学習(データ拡張ベース)と、モダリティ間の対応関係を狙う対照学習(CLIP)を組み合わせる(例えば画像側にもデータ拡張を適用しつつテキスト・画像間の対照学習をする)ことで、両方の利点を得られるか。 - BLIP の ITC 損失のように対照学習を他の目的関数(マッチング・生成)と組み合わせる場合、損失の重み付けや学習順序は最終的な表現の質にどの程度影響するか。 ## 関連 - ソース: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] / [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] / [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]](SimCLR・BYOLの具体的な実装) - 概念: [[自己教師あり学習]] / [[ビジョン言語モデル]] / [[テキスト埋め込み]] - 実体: [[CLIP]] / [[BLIP]] ## 出典 - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]](CLIP の対照学習、BLIP の ITC 損失) - [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]](画像の変換不変性を狙う対照学習の例) - 岡野原大輔, 『ディープラーニングを支える技術〈2〉 ニューラルネットワーク最大の謎』, 技術評論社, 2022, 第5章, §5.1.（SimCLR・BYOLの詳細、「対比学習」という訳語）