## 定義 **変分損失性オートエンコーダ**（Variational Lossy Autoencoder; VLAE）は、VAEの潜在変数と自己回帰デコーダーの間で情報を明示的に分担させる生成モデルである。デコーダーが潜在変数なしに表現できる情報はデコーダーへ優先的に置かれるという情報選好を利用し、小さい受容野のPixelCNNに局所テクスチャを担当させ、長距離依存の大域構造だけを潜在符号へ送る。(Source: [[@2026__30papers__Variational Lossy Autoencoder]]) VLAEは、自己回帰フローで柔軟な潜在事前分布を作る。自己回帰フロー事前分布は、エンコーダー経路では逆自己回帰フロー事後分布と同等の計算を行いながら、生成経路を深くできる。これにより損失性表現の制御と密度推定性能を両立する。(Source: [[@2026__30papers__Variational Lossy Autoencoder]]) ここでいう「損失性」は、生成モデル全体が局所情報を捨てることではない。潜在符号が局所情報を保持せず、デコーダーが条件付き分布として局所詳細を再生成するという意味である。潜在符号のビット数と、観測全体のbits-back符号長は区別する必要がある。(Source: [[@2026__30papers__Variational Lossy Autoencoder]]) ## 横断的知見 - [[@2026__30papers__A Tutorial Introduction to the Minimum Description Length Principle]]は、確率分布の負の対数をデータ符号長とみなし、モデル全体の記述長を比較する。[[@2026__30papers__Variational Lossy Autoencoder]]では、負の変分下限がbits-back期待符号長に一致するため、変分推論の近似誤差を追加符号長として解釈できる。ただしVLAEが報告する19.2ビットは潜在符号の情報量であり、局所詳細を符号化するデコーダー側の長さを含まない。潜在ボトルネックの短さを、データ全体のMDLと同一視してはならない。(Source: [[@2026__30papers__A Tutorial Introduction to the Minimum Description Length Principle]], [[@2026__30papers__Variational Lossy Autoencoder]]) - [[@2026__30papers__Variational Lossy Autoencoder]]と[[@2026__NSDI__PrvTel - Lightweight Models for Private and Accurate Telemetry Data Retention]]は、どちらもVAEで情報を圧縮するが、損失を制御する層が異なる。VLAEはデコーダーの受容野で潜在表現から局所テクスチャを除き、PrvTelは生のテレメトリを捨てて生成モデルだけを保持し、クエリ精度と差分プライバシーを評価する。「VAEによる圧縮」は、表現内の情報選別と、データ保持方式としての近似という別問題を含む。(Source: [[@2026__30papers__Variational Lossy Autoencoder]], [[@2026__NSDI__PrvTel - Lightweight Models for Private and Accurate Telemetry Data Retention]]) ## 未解決の問い - デコーダーの受容野を人手で設計せず、下流タスクに必要な情報だけを潜在符号へ残す制約をどう学習するか。 - 大域構造と意味が一致しないデータセットで、潜在表現が失った意味を訓練中にどう検出するか。 - 逐次的な自己回帰生成の遅さを減らしながら、局所情報と大域情報の分担を維持できるか。 - 画像以外の音声・動画・時系列で、局所受容野に相当する帰納バイアスをどう定義するか。 - 近似事後分布と真の事後分布の差による追加符号長を、実規模モデルでどう推定するか。 ## 関連 - [[最小記述長原理]] — bits-back期待符号長とモデル選択上の記述長を区別する基礎 - [[Xi Chen]]、[[Diederik P. Kingma]]、[[Tim Salimans]] — 提案論文の主要著者 - [[@2026__NSDI__PrvTel - Lightweight Models for Private and Accurate Telemetry Data Retention]] — VAEをデータ保持へ使う別の損失性設計 ## 出典 - [[@2026__30papers__Variational Lossy Autoencoder]] - [[@2026__30papers__A Tutorial Introduction to the Minimum Description Length Principle]] - [[@2026__NSDI__PrvTel - Lightweight Models for Private and Accurate Telemetry Data Retention]]