# ビジョン言語モデル ## 定義 ビジョン言語モデル(Vision-Language Model; VLM)は、LLM の言語理解・生成能力を視覚情報の処理に拡張したマルチモーダルモデルである。典型的にはビジョンエンコーダ(画像特徴抽出)・モダリティアダプタ(視覚埋め込みを言語空間に射影)・言語モデル(テキスト生成)の 3 モジュールで構成される。LLaVA スタイルのデコーダ専用アーキテクチャが広く採用されている。(Source: [[@2024__arXiv__DeepSeek-VL2 - Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding]]) ## CLIP による共通埋め込み空間からの派生: 生成・編集・記述 VLM の系譜を「テキストと画像の特徴量をどう関係づけるか」という軸で見ると、[[対照学習]]によってテキストと画像を同一の特徴量空間に埋め込む [[CLIP]] が土台となり、そこから生成・編集・記述という3方向の応用が派生している。 - **生成(text-to-image)**: [[unCLIP]](DALL·E 2)は CLIP のテキスト特徴量を、事前(prior)モデルで画像生成に適した CLIP 画像特徴量へ変換し、その特徴量から拡散モデルで画像を生成する。CLIP の共通空間があるからこそ「テキストから画像特徴量を予測する」というタスクが成立する。 - **編集(text+image-to-image)**: [[Imagic]] は CLIP のテキスト特徴量を出発点に、事前学習済み拡散モデルを固定したまま元画像を再構築するよう特徴量を最適化し、続けて拡散モデル自体もファインチューニングすることで、1枚の画像と1つのテキストだけから画像編集を実現する。 - **記述(text+image-to-text)**: [[BLIP]] は CLIP と同種の対照学習(ITC 損失)を、画像・テキストのマッチング判定(ITM)や次トークン予測(LM)と組み合わせて多段階に学習する。[[LLaVA]] は CLIP のような対照学習による橋渡しを経由せず、画像特徴量とテキスト特徴量を直接結合して単一の Transformer デコーダー型モデルに入力する。 BLIP と LLaVA の違いは、異なるモダリティの特徴量をどの位置で組み合わせるかという設計選択でもある。BLIP・unCLIP デコーダーのようにモデル内部の注意層(交差注意)で組み合わせる方式を**中間融合(intermediate fusion)**、LLaVA のようにモデルの入力時点で特徴量列を結合する方式を**早期融合(early fusion)**と呼ぶ。前者は組み合わせ方の柔軟さがあり、後者は単一のデコーダー型モデルで複数モダリティを扱えるシンプルさがある。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.1-§6.4) ## 横断的知見 - **CLIP の共通埋め込み空間は「近さ」を作るが、モダリティ間の情報の完全な一致までは保証しない——プラトン的表現仮説への実証的な留保**: [[プラトン的表現仮説]]は、独立に訓練された視覚モデルと言語モデルが十分な性能に達すると共通の表現へ収束すると予測し、LLaVA のようなモデル縫合の成立根拠として引用されてきた(joisino-アンナカレーニナの法則-2025)。一方 unCLIP の実験は、この収束が「近似」に留まることを具体的に示す: CLIP に対するタイポグラフィ攻撃(リンゴの画像に "iPod" と書いた紙を貼ると iPod クラスに誤分類される)を受けた画像から画像特徴量を抽出して再生成すると、iPod ではなくリンゴの画像が得られる。つまりテキスト特徴量と画像特徴量は分類を誘導するほど近づいてはいるが、含まれる情報には依然として差分があり、その差分を埋める役割を unCLIP は事前(prior)モデルという追加の構成要素に担わせている。抽象的な収束仮説と、実際のモデルが収束の不完全さを補うために追加の変換モデルを必要とするという具体的事実は、表裏一体の関係にある。(Source: [[joisino-アンナカレーニナの法則-2025]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] §6.2) - **LLaVA のようなモデル縫合型 VLM の成立根拠が[[モデル表現収束]]/[[プラトン的表現仮説]]により説明される**: 凍結した視覚モデルと凍結した言語モデルを単純な縫合層でつないで高性能が得られるのは、両モデルが独立に訓練されていても既に整合した「プラトン的表現」へ収束しているためである。モデル性能が向上するにつれてこの縫合が容易かつ効果的になると予測される。(Source: [[joisino-アンナカレーニナの法則-2025]]) - **時間軸のあるグラウンディングタスクで SFT が「偽陰性過剰ペナルティ」に支配される**。Time-R1 は LVLM の SFT が予測 [1.9s, 3.9s] vs 正解 [2s, 4s] のような「ほぼ正解」のケースで自己回帰損失を不当に高くするため、事前学習データが 100 倍以上多くても 9M パラメータの特徴量ベースモデルに劣る場合があると指摘した。RL でタスク固有指標(IoU)を直接最適化することでこの構造的問題が解消される。これは画像分類や VQA などの離散一致タスクでは顕在化しにくい、時間軸タスク固有の VLM 設計課題である (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]])。 - **RLVR 後訓練が VLM の特化と汎用能力の両立を可能にする**。Time-R1 は TVG への RLVR 後訓練で TVGBench [email protected]=41.8 を達成し Gemini-2.5-Pro(39.1)を超えながら、VideoMME(53.0 → 54.2)で映像 QA 能力も改善した。VLM 特化のための SFT は破滅的忘却を起こすが、RLVR は汎用映像理解能力にも正の転移を与える (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]])。 - **特化 VLM が汎用大規模 VLM を文書理解タスクで上回る**: GLM-OCR(0.9B)は OmniDocBench v1.5(94.62)で Qwen3-VL-235B(89.15)・Gemini-3 Pro(90.33)を超えた。VLM のスケーリング則が「汎用タスク」ほど文書パース・OCR のような「決定論的・構造的出力タスク」には当てはまらない可能性がある。DeepSeek-VL2 の MoE アーキテクチャが汎用 VQA では効率的であることとの対比が興味深い。(Source: [[@2026__arXiv__GLM-OCR Technical Report]]) - **RLVR は VLM 特化 OCR においても構造出力信頼性を向上させる**: Time-R1 が TVG タスクで連続値報酬を直接最適化した知見(Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]])と同様に、GLM-OCR でも GRPO(Group Relative Policy Optimization)によるタスク固有報酬設計(TEDS・CDM・フィールド F1 等)が構造的出力の不整合を減らす効果を示した。複数の VLM で RL 後訓練が構造的出力タスクに有効であることが収束している。(Source: [[@2026__arXiv__GLM-OCR Technical Report]]) - ViTs は VLM を画像・テキストのモダリティに加え、時系列曲線を画像化した第三のモダリティ入力として適用する事例である。時系列を数値トークン列としてテキスト化する方式(TS-LLM)は長系列でコンテキスト長が破綻し数値トークンの反復出力等の問題を抱えるのに対し、画像化(TS-VLM)は Vision Encoder の一般画像理解能力を転移させることでこの制約を回避する([[@2026__WWW2026__ViTs - Teaching Machines to See Time Series Anomalies Like Human Experts]])。 - ViTs では VLM への入力に周波数領域の補助可視化(STFT・Wavelet)を追加しても、大量データでの SFT 後はかえって性能が悪化した。VLM に画像内容を記述させると、単一の折れ線図では詳細な記述が得られる一方、複合サブプロット画像では軸ラベル等の表層要素に注意が向くことが観察されており、「入力情報を増やせば VLM の性能が上がる」という一般的想定が常に成り立つわけではない例を示す([[@2026__WWW2026__ViTs - Teaching Machines to See Time Series Anomalies Like Human Experts]])。 ## 未解決の問い - 早期融合(LLaVA)と中間融合(BLIP、交差注意)のどちらが下流タスク性能・計算効率のトレードオフで優れるかは、本書の範囲では同一条件での直接比較が示されていない。両者を同一データ・同一規模で比較した先行研究はあるか。 - CLIP の共通埋め込み空間を経由して生成する方式(unCLIP: テキスト特徴量→事前モデル→画像特徴量→デコーダー)と、テキスト・画像トークンを直接結合する早期融合方式(LLaVA)は、同じ「テキストと画像の統合」でも情報の流れ方が逆(埋め込み空間を経由する変換 vs 生の特徴量列の結合)である。生成方向(text-to-image)と理解方向(image-to-text)で、なぜ異なる融合方式が主流になったのか。単一の統一アーキテクチャで両方向を扱うことは可能か。 - 高解像度画像の動的タイリング(DeepSeek-VL2 方式)と固定解像度エンコーダ(初期 LLaVA 方式)の間で、視覚トークン数と性能のトレードオフはどこにあるか。タイル数の上限(VL2 では mn ≤ 9)はどのような基準で決定すべきか。 - MoE ベース VLM(DeepSeek-VL2、Aria-MoE 等)と密モデル VLM(InternVL2、Qwen2-VL 等)の比較において、活性化パラメータあたりの性能効率はタスク依存か。グラウンディングや OCR のように局所的な視覚特徴が重要なタスクと、推論のように全体的な理解が必要なタスクで、MoE の優位性は異なるか。 - VLM のコンテキストウィンドウ制約(DeepSeek-VL2 では少数画像のみ)は、動的タイリングによるトークン消費の増大が主因か。長コンテキスト LLM 技術(DeepSeek-V4 の百万トークン対応等)の VLM への転用は直接的に可能か。 - 時間軸タスク向けの RLVR が他の連続値 VLM タスク(画像での座標予測・距離推定・サイズ予測)に転移するか。Time-R1 の tIoU 報酬はタイムスタンプ偏差を罰する設計だが、bounding box の座標偏差・3D 推定の距離誤差にも同形で適用できる可能性がある。 - 超長尺映像(hour-level)では正解区間が映像全体の数 % 以下となり報酬信号が希薄化するが、階層的グラウンディングやカリキュラム学習による解決はまだ確立していない。 ## 関連 - ソース: [[@2024__arXiv__DeepSeek-VL2 - Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding]] / [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]] / [[@2026__arXiv__GLM-OCR Technical Report]] / [[joisino-アンナカレーニナの法則-2025]] / [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] / [[@2026__WWW2026__ViTs - Teaching Machines to See Time Series Anomalies Like Human Experts]] - エンティティ: [[DeepSeek-VL2]] / [[DeepSeek-AI]] / [[Renmin University of China]] / [[MiLM Plus]] / [[Zhipu AI]] / [[Jie Tang]] / [[CLIP]] / [[unCLIP]] / [[Imagic]] / [[BLIP]] / [[LLaVA]] - 概念: [[Mixture-of-Experts]] / [[時間的映像グラウンディング]] / [[検証可能報酬による強化学習]] / [[モデル縫合]] / [[モデル表現収束]] / [[プラトン的表現仮説]] / [[文書理解]] / [[光学文字認識]] / [[マルチトークン予測]] / [[対照学習]] / [[拡散モデル]] ## 出典 - [[@2024__arXiv__DeepSeek-VL2 - Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding]](LLaVA スタイル VLM に MoE + 動的タイリングを統合、3 バリアント展開) - [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]](LVLM の TVG タスクへの RLVR 後訓練、SFT の偽陰性過剰ペナルティ問題、tIoU 報酬) - [[@2026__arXiv__GLM-OCR Technical Report]](0.9B OCR 特化 VLM が 235B 汎用 VLM を文書パースで凌駕、MTP + 2 ステージパイプライン + GRPO RL によるスループット・性能・信頼性の同時向上) - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]](CLIP による共通埋め込み空間、unCLIP・Imagic・BLIP・LLaVA を通じた生成・編集・記述への展開、早期融合と中間融合の対比)