# CLIP ## 概要 CLIP(Contrastive Language-Image Pre-training)は、[[OpenAI]] の [[Alec Radford]] らが提案した、テキストと画像の特徴量を[[対照学習]]によって同一空間に埋め込むモデルである。原論文タイトルは "Learning Transferable Visual Models From Natural Language Supervision"(2021/02/26 公開、被引用数32,849)。自然言語処理での大規模事前学習の成功を画像分野に持ち込むことを動機とし、ウェブ上の画像とキャプションのペアを使って学習する。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.1) ## アーキテクチャと学習 - **テキストエンコーダー**: Transformer デコーダー型モデル。最後のトークンの出力特徴量を使用。 - **画像エンコーダー**: Vision Transformer(ViT-L/14)。[CLS] トークンの出力特徴量を使用。 - **学習データ**: 独自に構築した4億組の画像・キャプションデータセット(WebImageText)。英語版 Wikipedia で頻出する単語・自己相互情報量の高い単語組・WordNet の synset を合わせた50万件のクエリーで検索して収集した。 - **学習目的**: $N$ 個の画像・テキストペアから $N^2$ 通りの組み合わせを作り、対角成分($N$ 個、正例)の類似度を高く、非対角成分($N^2-N$ 個、負例)の類似度を低くするように、テキスト側・画像側それぞれを基準にしたクロスエントロピー損失を計算し平均する。 原論文は当初、画像からキャプションを生成する予測的な目的関数を試みたが、1枚の画像に唯一の正解キャプションを定めることの困難さから対照学習に方針転換した経緯を述べている。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.1) ## 推論(ゼロショット分類) 学習済みモデルは、`A photo of a {ラベル名}` のようなテキストテンプレートを用意し、画像特徴量との類似度が最も高いラベルを予測結果とすることでゼロショット画像分類に使える。テンプレートの工夫や複数テンプレートの特徴量平均で ImageNet-1k の正答率が5pt向上したと報告されている一方、キャプションの形式への依存も指摘されている。 ## 主要な実験結果 - ゼロショット CLIP は、STL10 や Kinetics700 のように動作(動詞)に関わるタスクで教師あり ResNet-50 特徴量抽出器を上回る一方、EuroSAT(衛星画像)や CLEVRCounts(物体数カウント)のように高い専門性・データ不足が問題になるタスクでは劣る。 - 特徴量抽出器としての性能比較では、Vision Transformer を使う CLIP が明確に優れ、モデルサイズ拡大による性能向上も著しい。 (Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.1) ## 後続モデルへの影響 CLIP が確立したテキスト・画像共通埋め込み空間は、[[unCLIP]](text-to-image)・[[Imagic]](text+image-to-image、CLIP テキスト特徴量の最適化を利用)・[[BLIP]](ITC 損失として対照学習を再利用)など、本書第6章で扱う後続モデル全ての土台になっている。CLIP の共通空間が保証するのは「近さ」であって「情報の完全な一致」ではない点は、unCLIP のタイポグラフィ攻撃実験(誤分類された画像から再生成すると元の物体の画像が得られる)で確認できる。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.2) ## 関連 - ソース: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] - 人物・組織: [[Alec Radford]] / [[OpenAI]] - モデル: [[unCLIP]] / [[Imagic]] / [[BLIP]] / [[LLaVA]] - 概念: [[対照学習]] / [[ビジョン言語モデル]] / [[テキスト埋め込み]] ## 出典 - 菊田遥平, 『原論文から解き明かす生成AI』, 技術評論社, 2025, 第6章 §6.1(原論文: Learning Transferable Visual Models From Natural Language Supervision, Radford et al., 2021).