# Imagic ## 概要 Imagic は、事前学習済みの画像生成モデルに1枚の画像と1つの編集テキストだけを与えて画像編集を行う text+image-to-image 手法である。原論文タイトルは "Imagic: Text-Based Real Image Editing with Diffusion Models"(Kawar et al., 2022/10/17 公開、被引用数1,139)。編集前後のテキスト・画像の組を集めて学習する方式や編集部分を明示的に指定する方式に対し、1枚+1文という手軽さが特徴である。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.3) ## 手法(3段階) 1. **テキスト特徴量の最適化**: 編集テキストの [[CLIP]] 埋め込み $e_{\text{tgt}}$ を初期値として、事前学習済み拡散モデルを固定したまま目的関数 $L(e) = \mathbb{E}[\|\varepsilon - p_\theta(x_t, t, e)\|^2]$ を $e$ について最適化し、元画像を再構築する $e_{\text{opt}}$ を得る。編集内容と元画像の内容が食い違っていても、あえて元画像を再構築するよう最適化することで、テキストによって画像が変わり過ぎるのを防ぐ。 2. **拡散モデルのファインチューニング**: $e_{\text{opt}}$ を固定し、同じ目的関数で拡散モデルのパラメータ $\theta$ を、今度は元画像を再構築するように最適化する。 3. **画像生成**: 最適化前後のテキスト特徴量を $\bar{e} = \eta e_{\text{tgt}} + (1-\eta) e_{\text{opt}}$ と線形補間し($\eta \in [0,1]$)、ファインチューニング済み拡散モデルの条件付けとして編集画像を生成する。 原論文では画像生成モデルとして Imagen と Stable Diffusion で検証している。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.3) ## 特徴とコスト 拡散モデル自体をファインチューニングしてまで元画像の再構築を目指すのは、Imagic がテキストの条件付けのみで生成画像をコントロールする手法であり、生成画像から元画像の情報が失われないよう強い制約を課す必要があるためである。ファインチューニングなしでは $\eta$ が小さくても元画像から大きく変わり、$\eta$ が大きいと元画像の情報がほとんど失われることが実験で確認されている。 処理は画像編集ごとに毎回、最適化とファインチューニングをやり直す必要があり、原論文では TPUv4 2チップで1枚あたり約8分を要すると報告されている。大量の学習データなしに自然言語だけで画像編集ができる点に価値がある。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.3) ## 関連 - ソース: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] - モデル: [[CLIP]](テキスト特徴量の取得元) / [[unCLIP]] - 概念: [[拡散モデル]] / [[ビジョン言語モデル]] ## 出典 - 菊田遥平, 『原論文から解き明かす生成AI』, 技術評論社, 2025, 第6章 §6.3(原論文: Imagic: Text-Based Real Image Editing with Diffusion Models, Kawar et al., 2022).