# Variational Lossy Autoencoder > [!abstract] 概要 > 30papers が、変分オートエンコーダー（VAE）と自己回帰デコーダーを組み合わせ、潜在符号に保持させる情報を制御する研究として選んだ論文である。[[Xi Chen]]、[[Diederik P. Kingma]]、[[Tim Salimans]]らは、強いデコーダーが潜在変数を無視する性質をbits-back符号化から説明し、局所テクスチャをデコーダー、大域構造を潜在変数へ明示的に分担させる[[変分損失性オートエンコーダ]]（VLAE）を提案した。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]; [30papers](https://30papers.com/papers/variational-lossy-autoencoder); [arXiv](https://arxiv.org/abs/1611.02731)) ## ソース情報 - **30papers 掲載名**: Variational Lossy Autoencoder - **30papers 上の著者表記**: Chen, Kingma, Salimans, Duan, Dhariwal, Schulman, Sutskever, Abbeel - **30papers 上の年**: 2016 - **30papers の位置づけ**: VAEと自己回帰デコーダーを組み合わせ、潜在符号に保持させる情報を制御する研究 - **原典**: [arXiv:1611.02731](https://arxiv.org/abs/1611.02731) - **初回提出日**: 2016-11-08 - **最終改訂日**: 2017-03-04 - **発表**: ICLR 2017 - **所属**: [[University of California, Berkeley]]、[[OpenAI]] 原典の著者は [[Xi Chen]]、[[Diederik P. Kingma]]、[[Tim Salimans]]、Yan Duan、Prafulla Dhariwal、John Schulman、Ilya Sutskever、Pieter Abbeelの8名である。30papersの2016年は初回arXiv公開年であり、PDFが示すICLR 2017は会議発表年である。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]) ## 問題設定 画像表現では、物体の形や同一性などの大域構造を保持し、細かなテクスチャやホワイトノイズを捨てたい場合がある。しかし生成尤度の最大化だけでは、望ましい潜在表現は決まらない。同じ観測分布を表現できても、VAEは確率的潜在変数を持ち、自己回帰モデルは持たないからである。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]) VAEと強い自己回帰デコーダーを単純に組み合わせると、デコーダーが全ての構造を説明し、潜在変数が使われなくなる。先行研究はドロップアウトなどでデコーダーを弱めていたが、本論文はなぜ弱める必要があるのかを情報理論的に説明し、その性質を制御可能な表現学習へ利用する。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]) ## VAEとbits-back符号化 VAEは、観測変数 \(x\)、潜在変数 \(z\)、近似事後分布 \(q(z\mid x)\) に対し、変分下限 \[ \mathcal L(x)= \mathbb E_{q(z\mid x)}[\log p(x\mid z)] -D_{\mathrm{KL}}(q(z\mid x)\Vert p(z)) \] を最大化する。第1項は期待再構成性能、第2項は近似事後分布を事前分布へ近づける正則化として読めるが、この目的関数は入力の完全再構成を保証しない。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]) bits-back符号化では、受信者が送信者と同じ \(q(z\mid x)\) を実行して補助メッセージを回収できる。VAEの期待符号長は \[ C_{\mathrm{BitsBack}}(x) =\mathbb E_{q(z\mid x)} [\log q(z\mid x)-\log p(z)-\log p(x\mid z)] =-\mathcal L(x) \] となり、変分下限の最大化と符号長の最小化が一致する。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]) 近似事後分布と真の事後分布の差 \(D_{\mathrm{KL}}(q(z\mid x)\Vert p(z\mid x))\) は追加符号長になる。デコーダーが \(z\) なしでデータ分布を表現できるなら、潜在変数を使わず \(q(z\mid x)=p(z)\) とする方がこのコストを避けられる。したがって潜在変数の無視は、単なる最適化失敗ではなく、十分強いデコーダーを持つVAEの最適解でも生じうる。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]) ## 明示的な情報配置 VLAEはこの「情報選好」を逆用する。保持したくない情報はモデル化でき、保持したい情報はモデル化できないよう、自己回帰デコーダーの因子分解と受容野を制限する。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]) 二次元画像では、小さい局所受容野を持つPixelCNNデコーダー \[ p_{\mathrm{local}}(x\mid z) =\prod_i p(x_i\mid z,x_{\mathrm{WindowAround}(i)}) \] を使う。局所テクスチャは近傍画素から予測できるためデコーダーが担い、長距離依存である形状や大域構造は潜在変数 \(z\) を通す必要がある。受容野の大きさや入力変換が、どの情報を潜在表現へ置くかを制御する。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]) この情報選好は変分下限を十分に最適化した場合の漸近的な説明である。VLAEは最適化を容易にするfree bitsやKLアニーリングの代替ではなく、実験でもfree bitsを併用した。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]) ## 自己回帰フロー事前分布 VLAEは、球面ガウス雑音を可逆な自己回帰フロー（Autoregressive Flow; AF）で変換し、柔軟な事前分布 \(p(z)\) を作る。AF事前分布はエンコーダー経路では逆自己回帰フロー（Inverse Autoregressive Flow; IAF）事後分布と同等だが、生成経路ではより深い \(p(x\mid f(\epsilon))\) を持つ。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]) AF事前分布とIAF事後分布は訓練時の期待値計算コストが同じである。このためAF事前分布は、追加の訓練時間なしに生成モデルを表現力豊かにする。静的二値化MNISTでは、IAF VAEのテストNLL 79.88に対しAF VAEは79.30、AFとPixelCNNデコーダーを組み合わせたVLAEは79.03だった。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]) ## 損失性表現の実験 静的二値化MNISTでは、VLAEの潜在変数が使う平均情報量は13.3 nat、すなわち19.2ビットだった。同一VAEの因子化デコーダーは37.3ビットを使った。VLAEの復号サンプルは元画像と一致しないが、数字の大域構造を保ち、線幅や二値マスクなどの局所統計を新しく生成した。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]) ![[_attachments/30papers-variational-lossy-autoencoder/fig01-mnist-lossy-code.png]] Figure 1。各組の左が元画像、右が同じ潜在符号から生成した復号サンプルである。数字の同一性や概形を保持しつつ、局所的な線の形は一致しない。(Source: [原典 Figure 1](https://arxiv.org/pdf/1611.02731)) ただし、潜在符号が常に望ましい意味を保持するわけではない。OMNIGLOTでは小パッチ自体に意味のある変動が含まれるため、一部の復号で文字の意味が保存されなかった。保持対象はデータセットと下流タスクに応じて定め、デコーダーを設計する必要がある。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]) > [!caution] 潜在符号への「強制」 > 30papersは、潜在符号にどの情報を保持させるかを制御できると要約する。原典が保証するのは、デコーダーが表現できない依存関係を潜在変数へ追い出すことであり、それが人間に望ましい意味と一致するとは限らない。OMNIGLOTの失敗例は、受容野設計がタスク固有であることを示す。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]) CIFAR-10では、PixelCNN受容野を4×2から7×4へ拡大すると、デコーダーがより多くの構造を説明し、潜在変数に残る形状は粗くなった。色は局所予測しやすいため失われる場合があったが、デコーダーへ与える近傍をグレースケールに制限すると、色を潜在表現へ保持できた。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]) ![[_attachments/30papers-variational-lossy-autoencoder/fig02-cifar-receptive-fields.png]] Figure 3。各組の左が元画像、右が潜在符号からの復号サンプルである。受容野を拡大するほど潜在符号の形状情報が粗くなり、グレースケール近傍へ制限した右下では色が潜在符号へ残る。(Source: [原典 Figure 3](https://arxiv.org/pdf/1611.02731)) ## 密度推定 二値画像では、静的MNISTだけで調整した同一ハイパーパラメータを動的MNIST、OMNIGLOT、Caltech-101 Silhouettesへ適用した。テストNLLは動的MNIST 78.53、OMNIGLOT 90.98、個別調整OMNIGLOT 89.83、Caltech-101 Silhouettes 77.36だった。論文発表時、MNISTとCaltech-101 Silhouettesでは新しい最高性能、OMNIGLOTでは既存最高性能と統計的に同等と報告した。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]) CIFAR-10ではResNet VLAEが3.04ビット/次元、DenseNet VLAEが2.95ビット/次元だった。これは当時の変分学習潜在変数モデル中の最高性能であり、尤度を直接計算できるPixelCNN++の2.92ビット/次元にはわずかに及ばなかった。いずれも2017年時点の比較である。(Source: [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]]) ## 評価 ### 強み - 潜在変数の無視をbits-back符号化の追加コストから説明した点 - デコーダーの受容野を、表現へ保持する情報を指定する帰納バイアスとして利用した点 - 損失性表現学習と高性能な密度推定を一つのモデルで両立した点 - AF事前分布とIAF事後分布の同値性から、同じ訓練計算量で生成経路を深くした点 - MNISTだけで調整した構成を複数の二値画像データセットへ転用した点 ### 限界 - 望ましい情報を保持する受容野や入力変換を設計者が指定する必要がある。 - 大域構造が下流タスクに必要な意味と一致する保証はない。 - 情報選好の説明は変分下限を十分最適化できることに依存する。 - 自己回帰モデルの逐次性により、単純なVAEより生成が遅い。 - 実験は二次元画像に限られ、音声・動画・半教師あり学習は将来課題である。 ## 関連 - 中心手法: [[変分損失性オートエンコーダ]] - 符号長による解釈: [[最小記述長原理]] - 著者: [[Xi Chen]]、[[Diederik P. Kingma]]、[[Tim Salimans]] - 所属: [[OpenAI]]、[[University of California, Berkeley]] - VAEをデータ保持へ使う別用途: [[@2026__NSDI__PrvTel - Lightweight Models for Private and Accurate Telemetry Data Retention]] ## 出典 - [[.raw/articles/30papers-variational-lossy-autoencoder-2026-07-28]] - [30papers: Variational Lossy Autoencoder](https://30papers.com/papers/variational-lossy-autoencoder) - [arXiv abstract](https://arxiv.org/abs/1611.02731) - [arXiv PDF](https://arxiv.org/pdf/1611.02731)