## 定義 Vision Transformer(ViT)は、画像を小さい矩形パッチに分割してトークン列として扱うことで、[[Transformer]] のエンコーダー型モデルをほぼそのまま画像分類タスクに転用したモデルである。原論文("An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale", Dosovitskiy et al., 2020)は、画像データ $x\in\mathbb{R}^{H\times W\times C}$ を $P\times P$ の矩形パッチ $\mathbb{R}^{P\times P\times C}$ に重なりなく分割し、1つのパッチを1トークンとして $N=HW/P^2$ 個のトークンを作る。各トークンは学習対象の埋め込み行列(パッチの画素情報 $\mathbb{R}^{P^2C}$ を $d_{model}$ 次元に変換する $\mathbb{R}^{d_{model}\times P^2C}$ 行列)で特徴量に変換され、クラス分類の特徴量を構築するための特殊トークン [CLS] をトークン列の先頭に加えたうえで、テキストデータと同様に Transformer エンコーダーへ入力する。$P=16$ が原論文タイトル「Image is Worth 16x16 Words」の由来である。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 5 拡散モデルと画像生成]] §5.1) ## 特徴と学習 - テキストは離散的な記号なのでトークン ID ごとに埋め込みを学習するが、画像は連続的に扱えるため、パッチサイズに合わせた1つの埋め込み行列を学習して任意のパッチに適用する。 - CNN と比べると自己注意は局所性などの帰納バイアス(inductive bias)が少ないが、十分な量のデータで学習すれば高い性能を発揮する。 - 事前学習には教師なし学習(トークンの一部をマスクしてパッチのRGB平均値の量子化などを予測する、分布仮説の画像データ版)も試されたが、教師あり事前学習(JFT-300M または ImageNet-21k)に対して ImageNet 1k top-1 正答率で 4pt 低く、原論文では教師あり事前学習を採用する。 - 事前学習データサイズを大きくすると少数ショット性能が急激に向上するという、大量データでの自己注意の強みがテキスト領域の GPT モデルと同様に観測される。 - 自己注意の重みを可視化すると、クラス分類に重要な物体(犬の顔・飛行機の部分など)に注意が向いていることが確認できる。 (Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 5 拡散モデルと画像生成]] §5.1) ## 横断的知見 - **Transformer 原論文が将来方向として挙げたテキスト以外のモダリティへの拡張を、ViT がパッチトークン化という具体的な方法で実現した**。Transformer 原論文([[@2017__NeurIPS__Attention Is All You Need]])はテキスト以外のモダリティ(画像・音声・映像)への拡張を将来課題として言及するにとどまるが、ViT は画像をピクセル単位でなく矩形パッチ単位でトークン化することで、モデル本体([[Transformer]] エンコーダー)を変更せずに画像領域への転用を果たした。原論文が示唆した「制限付き自己注意」による効率化とは異なる経路(トークン数そのものを縮約するパッチ化)で実現している点が特徴である。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 5 拡散モデルと画像生成]] §5.1) - **層の深さがモデルサイズをテキスト領域の基準と逆転させる**。『原論文から解き明かす生成AI』第3章が扱う元の Transformer(big モデル)のパラメーター数は 213M だが、ViT はより小さい入力次元(パッチ)を扱うにもかかわらず層数が多いため、元の Transformer よりモデルサイズが大きくなる。テキスト領域の GPT シリーズと比べると小さく見えるが、比較対象が元の Transformer(エンコーダー・デコーダー型)である点に注意が必要である。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 5 拡散モデルと画像生成]] §5.1) ## 未解決の問い - ViT のパッチ化による教師なし事前学習(マスクされたパッチのRGB平均値予測など)は教師あり事前学習に劣るとされるが、この性能差は BEiT や MAE のような後続のマスク画像モデリング手法でどこまで縮まったか。本章はこの点で公式実装に BYOL(Bootstrap Your Own Latent)による教師なし事前学習が含まれることのみ触れ、詳細には立ち入っていない。 - 原論文タイトルはパッチサイズ $P=16$ を採用するが、実験結果としては $P=14$(ViT-H/14)の性能が最も良いとされる。本書はこの選択を「モデルへの入力トークン列が短くなり効率的であるため象徴的なサイズとして選んだのだろう」と推測にとどめている。この推測の妥当性を裏づける一次情報はあるか。 - ViT は画像分類という単一タスクに特化したエンコーダー型モデルだが、[[ビジョン言語モデル]] はビジョンエンコーダーと言語モデルを組み合わせたマルチモーダルモデルである。両者はどちらも「画像をトークン化して Transformer に入力する」という共通点を持つが、ViT のパッチトークン化手法が VLM のビジョンエンコーダーとしてどこまで直接再利用されているかは本章の範囲外である。 ## 関連 - ソース: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 5 拡散モデルと画像生成]] / [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]] - 概念: [[Transformer]] / [[拡散モデル]] — DiT のバックボーンとして ViT が採用される - 概念: [[ビジョン言語モデル]] — 画像とテキストを扱う点で近縁だが、ViT は画像分類に特化した別概念 - 実体: [[菊田遥平]] ## 出典 - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 5 拡散モデルと画像生成]](§5.1) - 菊田遥平, 『原論文から解き明かす生成AI』, 技術評論社, 2025, 第5章.