# unCLIP ## 概要 unCLIP は、商用サービス名 DALL·E 2 として知られる text-to-image モデルである。原論文タイトルは "Hierarchical Text-Conditional Image Generation with CLIP Latents"(Ramesh et al., 2022/04/13 公開、被引用数7,516)。[[CLIP]] の共通特徴量空間と拡散モデル([[拡散モデル]])を統合し、テキストから 1024×1024 の高品質な画像を生成する。前身の text-to-image モデル DALL·E と比べ、画像としての違和感が大幅に少なくなった。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.2) ## モデル構造 入力画像 $x$・入力テキスト $y$・それぞれの CLIP 特徴量 $z_x, z_y$ を用いて、$p(x \mid y) = p(x \mid z_x, y)\, p(z_x \mid y, z_y)$ と分解し、以下の2要素で構成する。 - **事前(prior)モデル** $p(z_x \mid y, z_y)$: テキストとその CLIP テキスト特徴量から CLIP 画像特徴量を予測するモデル。自己回帰モデルと拡散モデルの2種類を試し、拡散モデルの方が高性能。目的関数はノイズなしの画像特徴量を直接予測する $L_{\text{prior}} = \mathbb{E}[\|f_\theta(y, z_y, e_t, z_{x,t}) - z_x\|^2]$。 - **デコーダー** $p(x \mid z_x, y)$: 事前モデルが出力した画像特徴量と入力テキストから画像を生成する拡散モデル。先行研究 GLIDE のアーキテクチャを基に、CLIP 画像特徴量を各注意層のキー・バリューへの連結とタイムステップ埋め込みへの加算という2経路で条件付けに使う。低解像度から高解像度へ拡大する2つの超解像拡散モデル(64×64→256×256→1024×1024)を伴う。 CLIP の共通空間があれば事前モデルなしでテキスト特徴量 $z_y$ から直接生成することも可能だが、画像生成に適した特徴量を得るために事前モデルを導入している。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.2) ## 主要な実験結果 - 人間評価では、写実性は先行モデル GLIDE と同等、キャプション合致度合いはやや劣るが、多様性では大きく上回る。 - タイポグラフィ攻撃実験: CLIP がリンゴの画像を "iPod" の貼り紙で iPod クラスに誤分類しても、その画像特徴量を再生成するとリンゴの画像が得られる。CLIP 特徴量空間の「近さ」が情報の完全な一致を意味しないことを示す。 - 事前モデルの必要性検証: $z_x=0$(テキスト情報未考慮)、$z_x=z_y$(テキスト特徴量をそのまま流用、不自然)、事前モデルあり(unCLIP、最も自然)の3条件比較で unCLIP が最も優れる。 ## 限界 オブジェクトへの属性付与(色と形の結びつけ、例: 2つの立方体の位置関係・色の混同)、画像中の文字の正確な描画、複雑な背景の詳細描写が苦手であることが報告されている。CLIP の埋め込み特徴量が属性を直接的に結びつけるものになっていないことが仮説として挙げられている。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.2) ## 関連 - ソース: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] - モデル: [[CLIP]](土台となる共通埋め込み空間) / [[Imagic]] / [[BLIP]] / [[LLaVA]] - 組織: [[OpenAI]] - 概念: [[拡散モデル]] / [[ビジョン言語モデル]] ## 出典 - 菊田遥平, 『原論文から解き明かす生成AI』, 技術評論社, 2025, 第6章 §6.2(原論文: Hierarchical Text-Conditional Image Generation with CLIP Latents, Ramesh et al., 2022).