Linearly Controllable GAN: Unsupervised Feature Categorization and Decomposition for Image Generation and Manipulation¶

会议: ECCV 2024
arXiv: N/A
代码: 无
领域: 扩散模型 / 图像生成
关键词: GAN可控生成, 特征解耦, 对比学习, 谱正则化, 无监督分解

一句话总结¶

本文提出LC-GAN，通过对比特征分类和谱正则化实现GAN潜在空间的无监督几何-外观特征解耦，使得生成图像的各个属性可以被线性独立控制，在FFHQ、CelebA-HQ和AFHQ-V2上达到SOTA生成质量。

研究背景与动机¶

领域现状：GAN的潜在空间可控编辑是图像生成领域的核心问题之一。现有方法要么依赖监督信号（如属性标注）来引导特征解耦，要么通过后处理方式（如GANSpace、SeFa等在预训练GAN上做PCA/SVD分析）来发现可编辑方向，但这些方法通常需要额外标注或只能发现有限的编辑维度。

现有痛点：监督方法需要大量标注数据，限制了其通用性和可扩展性；后处理方法虽然不需要标注，但发现的编辑方向往往存在属性纠缠——修改一个属性（如姿态）会同时影响其他属性（如肤色），导致编辑不精确。此外，现有方法很少从结构上区分几何相关特征和外观相关特征，使得解耦不够彻底。

核心矛盾：要实现真正的线性可控生成，需要潜在空间中的不同维度分别对应图像的不同属性，且这些维度之间相互正交。但传统GAN的训练目标只关注生成质量，不对潜在空间施加结构性约束，导致特征自然纠缠。

本文目标 （1）如何在无监督条件下将潜在编码自动分类为几何相关和外观相关两大类？（2）如何确保同类内的不同特征维度也能独立控制图像的不同方面？（3）如何在解耦的同时保持甚至提升生成质量？

切入角度：作者观察到图像的几何属性（姿态、形状）和外观属性（颜色、纹理）对图像增强具有不同的不变性——几何变换（旋转、裁剪）改变几何但保留外观，而颜色变换改变外观但保留几何。利用这一先验，可以通过对比学习让判别器自动构建几何和外观特征空间。

核心 idea：利用图像增强的不变性差异，通过对比学习自动分类几何/外观特征，再通过谱正则化将同类特征投影到正交子空间，实现完全无监督的线性可控GAN。

方法详解¶

整体框架¶

LC-GAN在标准GAN框架上引入两个核心机制：（1）判别器侧的对比特征分类模块，利用不同类型的数据增强和对比学习将特征空间分为几何空间和外观空间；（2）生成器侧的谱正则化模块，将输入的潜在编码自动分类为几何相关和外观相关两组，并通过SVD分解确保每组内的各分量控制图像的不同独立属性。输入为随机噪声向量\(z\)，输出为生成图像，但中间的潜在编码被结构化地分解为可独立操控的子空间。

关键设计¶

对比特征分类（Contrastive Feature Categorization）:
- 功能：让判别器自动构建几何特征空间和外观特征空间
- 核心思路：对同一图像分别施加几何增强（随机裁剪、旋转等）和外观增强（颜色抖动、灰度化等）。几何增强后的图像对在外观上相似但几何不同，因此可以用对比学习拉近它们的外观特征、推远几何特征；反之亦然。判别器的中间特征通过两个投影头分别映射到几何空间和外观空间，各自使用InfoNCE损失训练
- 设计动机：不同于需要标注的监督方法，这种基于增强不变性的对比学习方式完全无监督，且直接利用了几何和外观的物理先验，分类结果更加合理
谱正则化（Spectral Regularization）:
- 功能：确保分类后的特征子空间内各分量相互正交，每个分量控制一个独立属性
- 核心思路：将生成器输入的潜在编码\(z\)分为\(z_g\)（几何）和\(z_a\)（外观）两组后，对生成器中间层的Jacobian矩阵进行SVD分解。通过约束Jacobian的奇异值分布（使其尽量均匀），确保输出对各输入维度的敏感度相当且方向正交。具体地，对\(\partial G / \partial z_g\)和\(\partial G / \partial z_a\)分别施加核范数正则化
- 设计动机：仅做特征分类只能区分几何和外观两大类，但无法保证类内不同维度的独立性。谱正则化通过强制正交性约束，使得每个维度对应一个独立的、可线性插值的编辑方向
自适应特征路由（Adaptive Feature Routing）:
- 功能：根据判别器学到的几何/外观空间，引导生成器自动将输入潜在编码分配到对应类别
- 核心思路：生成器接收完整的潜在编码\(z\)后，通过一个可学习的路由模块将其拆分为\(z_g\)和\(z_a\)。路由模块的训练信号来自判别器的对比特征空间——生成图像在判别器几何空间中的变化应主要由\(z_g\)引起，在外观空间中的变化应主要由\(z_a\)引起
- 设计动机：端到端训练避免了手动指定哪些维度对应几何、哪些对应外观，使分配更灵活且能适应不同数据集的特性

损失函数 / 训练策略¶

总损失包含四部分：（1）标准GAN对抗损失保证生成质量；（2）几何对比损失\(\mathcal{L}_{geo}\)和外观对比损失\(\mathcal{L}_{app}\)训练判别器的特征空间；（3）谱正则化损失\(\mathcal{L}_{spec}\)约束Jacobian矩阵的奇异值分布；（4）路由一致性损失确保生成器的特征分配与判别器的空间划分一致。训练采用渐进式策略，先稳定对抗训练，再逐步增加对比学习和谱正则化的权重。

实验关键数据¶

主实验¶

数据集	指标(FID↓)	LC-GAN	StyleGAN2	EigenGAN	提升
FFHQ 256×256	FID	3.51	3.83	8.51	+0.32 vs SG2
CelebA-HQ 256×256	FID	4.12	4.39	7.86	+0.27 vs SG2
AFHQ-V2 512×512	FID	3.68	3.95	6.12	+0.27 vs SG2

消融实验¶

配置	FID↓	解耦分数↑	说明
Full LC-GAN	3.51	0.87	完整模型
w/o 对比分类	3.72	0.61	去掉对比学习后解耦能力大幅下降
w/o 谱正则化	3.58	0.73	缺少正交约束导致类内纠缠
w/o 自适应路由	3.65	0.79	手动分配维度不如自适应路由灵活

关键发现¶

对比特征分类是解耦能力的最大贡献者，去掉后解耦分数从0.87降到0.61
谱正则化在保持FID的同时大幅提升类内独立性
在用户研究中，LC-GAN的属性编辑精确度显著优于GANSpace和SeFa等后处理方法
线性插值实验表明各维度确实控制独立的语义属性（如一个维度控制姿态，另一个控制发色）

亮点与洞察¶

增强不变性作为解耦先验：利用几何增强和外观增强的不对称性来自动区分特征类别，这个思路可以推广到其他需要无监督特征分类的任务（如视频中的运动/外观分解）
谱正则化保证线性可控性：通过SVD约束确保编辑方向正交，使得线性插值就能精确控制单个属性，无需复杂的非线性映射
生成质量和可控性的双赢：不同于大多数解耦方法会牺牲生成质量，LC-GAN的FID反而优于原始StyleGAN2，说明结构化的潜在空间也有利于生成

局限与展望¶

几何/外观的二分类可能过于粗糙，某些属性（如表情）同时涉及几何和外观变化，难以归入单一类别
谱正则化需要计算Jacobian矩阵的SVD，增加了训练开销，尤其在高分辨率时
方法基于StyleGAN2架构，对扩散模型等新型生成器的适用性尚未验证
目前仅在人脸和动物数据集上验证，更复杂的场景（如多物体、室内场景）的效果有待检验

评分¶

新颖性: ⭐⭐⭐⭐ 将对比学习的增强不变性用于GAN特征分类是巧妙的设计，谱正则化保证正交性也很自然
实验充分度: ⭐⭐⭐⭐ 在多个数据集上验证了FID和解耦能力，有消融和用户研究，定量和定性结果都较完整
写作质量: ⭐⭐⭐⭐ 方法动机清晰，从增强不变性到对比分类再到谱正则化的逻辑链完整
价值: ⭐⭐⭐⭐ 对GAN可控生成有实用价值，无监督解耦思路可迁移到其他生成模型