# LLaVA ## 概要 LLaVA(Visual Instruction Tuning で提案されたモデル)は、text+image-to-text を実現するモデル構造のもう一つの例として本書が紹介するモデルである。画像特徴量とテキスト特徴量を並べて Transformer デコーダー型モデルの入力とする、**早期融合(early fusion)**を採用する。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.4) ## モデル構造 画像 $X_v$ を画像エンコーダー $g(\cdot)$(Vision Transformer)でトークンごとの特徴量 $Z_v = g(X_v)$ に変換し、線形変換 $H_v = W Z_v$ でテキスト特徴量 $H_q$ と次元を揃えて結合し、Transformer デコーダー型モデル(Vicuna)の入力とする。 1枚の画像 $X_v$ に対してユーザーの入力 $X_q$ とモデルの回答 $X_a$ を $T$ 回繰り返す対話を想定し、$t=1$ 回目の指示トークン列は $[X_{q,1}; X_v]$ または $[X_v; X_{q,1}]$(順序はランダムに決定、ユーザーがどちらの順で入力しても対応できるように)、$t>1$ 回目は $X_{q,t}$ のみとする。画像情報は一度だけ取り扱えば十分なので $t=1$ でのみ取り入れる。学習は回答に対する次トークン予測 $p(X_a \mid X_{\text{instruct}}) = \prod_i p_\theta(x_i \mid X_{\text{instruct},<i}, X_{a,<i})$ で行う。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.4) ## BLIP との対比 単一の Transformer デコーダー型モデルで複数モダリティを扱えるシンプルさがある一方、入力列として並べるだけなので組み合わせ方の柔軟さには乏しいという特徴がある。交差注意でモダリティを組み合わせる[[BLIP]]の中間融合と対照的な設計方針である。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.4) ## 関連 - ソース: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] - モデル: [[BLIP]](中間融合との対比) - 概念: [[ビジョン言語モデル]] ## 出典 - 菊田遥平, 『原論文から解き明かす生成AI』, 技術評論社, 2025, 第6章 §6.4(原論文: Visual Instruction Tuning, https://arxiv.org/abs/2304.08485v2).