潜在空間

データを低次元の連続なベクトルで表した空間。

$512\times 512\times 3$ の画像が 1/48 に圧縮される。

なぜ圧縮できるのか#

自然画像は、可能な画素値の組み合わせのうち ごく一部の低次元多様体にしか存在しない。 ランダムな画素値はほぼ確実にノイズ画像になる。

意味のある画像だけを表すなら、 はるかに少ない次元で足りる。 主成分分析と同じ発想を 非線形に拡張したもの。

潜在拡散モデル#

拡散を画素空間ではなく潜在空間で行う。

画像 → [VAE エンコーダ] → 潜在 z
                             ↓ 拡散・逆拡散
                          潜在 z'
                             ↓
       [VAE デコーダ] → 生成画像

計算量が次元数に比例するので、48 分の 1 の空間で拡散すれば劇的に速い。 Stable Diffusion がこの構成で、 高解像度の生成を民生 GPU で可能にした。

潜在空間の性質#

• 連続性 — 2 点を線形補間すると、意味的に中間の画像が得られる
• 意味の方向 — 「笑顔にする」「年齢を上げる」といった 操作が、特定の方向へのベクトル加算に対応することがある

この性質があるので、 潜在空間での編集が画像の編集になる。

圧縮率のトレードオフ#

圧縮しすぎると細部（文字、顔、手）が失われる。 潜在拡散モデルの生成画像で文字が崩れやすいのは、 VAE の再構成能力の限界に起因する部分がある。

参考文献#

• Robin Rombach et al. High-Resolution Image Synthesis with Latent Diffusion Models. CVPR, 2022. https://arxiv.org/abs/2112.10752
• Diederik P. Kingma, Max Welling. Auto-Encoding Variational Bayes. ICLR, 2014. https://arxiv.org/abs/1312.6114