FreeInpaint: Tuning-free Prompt Alignment and Visual Rationality Enhancement in Image Inpainting¶

会议: AAAI 2026
arXiv: 2512.21104
代码: https://github.com/CharlesGong12/FreeInpaint
领域: 图像生成
关键词: 图像修复, 扩散模型, 免训练引导, 初始噪声优化, 提示词对齐

一句话总结¶

提出FreeInpaint，一种即插即用的免训练方法，通过优化初始噪声引导注意力聚焦到修复区域（PriNo），并在去噪过程中分解条件分布为文本对齐、视觉合理性和人类偏好三项引导（DeGu），同时提升图像修复的提示词对齐和视觉合理性。

研究背景与动机¶

文本引导图像修复（Text-guided Image Inpainting）旨在根据用户文本提示在指定区域生成新内容。现有方法面临两个核心矛盾：

提示词对齐问题：现有修复模型（如SD-Inpainting、BrushNet）在训练时使用随机mask和全局描述，导致模型更依赖图像上下文而忽略文本提示，生成的内容经常与提示词不一致

视觉合理性问题：即使增强了提示词对齐（如HD-Painter通过重加权自注意力），也往往牺牲了视觉合理性，产生不自然的边界或失真

作者通过可视化注意力图发现了关键洞察：提示词对齐的修复结果，其交叉注意力和自注意力都高度集中在mask区域；而不对齐的结果，注意力被错误地分散到背景区域。这种"注意力方向错误"（Misdirected Attention）是导致修复失败的根本原因。

进一步地，作者指出扩散模型对初始噪声非常敏感——不同的随机噪声输入会导致截然不同的修复效果。因此，一个好的初始噪声可以显著提升提示词对齐。

方法详解¶

整体框架¶

FreeInpaint是一个即插即用、不需要任何训练或微调的框架，包含两个关键阶段：

阶段一：Prior-Guided Noise Optimization (PriNo) — 在去噪开始前优化初始噪声 $z_T$
阶段二：Decomposed Training-free Guidance (DeGu) — 在每一步去噪过程中施加分解式引导

关键设计¶

1. PriNo: 先验引导噪声优化¶

核心思路：在去噪的第一步，通过优化初始噪声 $z_T$ 的分布参数使注意力图集中到mask区域。

注意力分析： - 交叉注意力 $A^c$：衡量文本token与视觉patch的相关性。错误的 $A^c$ 会把提示内容关联到背景 - 自注意力 $A^s$：衡量视觉patch之间的相关性。错误的 $A^s$ 会让修复区域过度受周围上下文影响

损失函数设计：

交叉注意力损失 — 鼓励提示与mask区域对齐： $$\mathcal{L}_c = \sum_{i,j}[(1-M'_{ij}) \cdot A^c_{ij} - M'_{ij} \cdot A^c_{ij}]$$

自注意力损失 — 鼓励修复区域关注自身： $$\mathcal{L}_s = \sum_{i,j}[(1-M'_{ij}) \cdot A^s_{ij} - M'_{ij} \cdot A^s_{ij}]$$

一个关键效率优化：作者发现第一步去噪的注意力图已经和全步平均的注意力图高度相似，因此只需要在第一步计算两个损失。

联合优化目标： $$\mathcal{L}_{\text{joint}} = \lambda_1 \mathcal{L}_c + \lambda_2 \mathcal{L}_s + \lambda_3 \mathcal{L}_{KL}$$

其中 $\mathcal{L}_{KL}$ 是KL散度正则项，防止优化后的噪声分布偏离标准高斯分布太远。通过优化噪声分布的均值 $\mu$ 和标准差 $\sigma$，得到优化后的噪声 $z'_T = \mu' + \sigma' z_T$。

2. DeGu: 分解式免训练引导¶

核心思路：将修复过程的条件分布分解为三个独立目标，分别使用现成的奖励模型引导。

条件分布分解： $$p(z_t|c, z^m, q) \propto p(c|z_t) \cdot p(z^m|z_t) \cdot p(q|z_t) \cdot p(z_t)$$

三个引导目标： - 文本对齐 $p(c|z_t)$：使用局部CLIPScore ($r_c$) 评估mask区域与提示词的对齐 - 视觉合理性 $p(z^m|z_t)$：使用InpaintReward ($r_m$) 评估生成区域与已知区域的一致性 - 人类偏好 $p(q|z_t)$：使用ImageReward ($r_q$) 评估整体美学质量

噪声修正公式： $$\hat{\epsilon}_t = \epsilon_\theta(z_t,t,c,z^m,M') - \gamma_c\sqrt{\bar{\alpha}_t}\nabla_{z_t}r_c - \gamma_m\sqrt{\bar{\alpha}_t}\nabla_{z_t}r_m - \gamma_q\sqrt{\bar{\alpha}_t}\nabla_{z_t}r_q$$

3. 奖励调制器设计¶

作者使用 $\sqrt{\bar{\alpha}_t}$ 而非传统的 $\sqrt{1-\bar{\alpha}_t}$ 作为奖励调制系数。由于 $\sqrt{\bar{\alpha}_t}$ 在去噪过程中单调递增，它在初始噪声较大的步骤中降低不可靠预测的影响权重，实验证明这比传统方案效果更好。

损失函数 / 训练策略¶

FreeInpaint 完全不需要训练。PriNo阶段使用SGD优化器迭代优化噪声分布参数，DeGu阶段使用三个预训练奖励模型的梯度修正每步预测噪声。最后通过blending将修复结果与原始非mask区域融合。

实验关键数据¶

主实验¶

EditBench数据集（自由形式mask）

基础模型	方法	ImageReward↑	HPSv2↑	L.CLIP↑	InpaintReward↑	LPIPS↓
BrushNet	Base	0.2729	25.34	26.45	-0.1791	0.1947
BrushNet	+HD-Painter	0.3836	25.20	27.08	-0.2124	0.2135
BrushNet	+FreeInpaint	0.5006	25.64	27.81	-0.0878	0.2005
SD3-ControlNet	Base	0.2993	25.48	26.26	-0.2170	0.2155
SD3-ControlNet	+HD-Painter	-0.5020	21.56	22.83	-0.2988	0.2516
SD3-ControlNet	+FreeInpaint	0.5248	25.70	26.98	-0.0694	0.2057

MSCOCO数据集（布局mask）

基础模型	方法	ImageReward↑	HPSv2↑	InpaintReward↑	LPIPS↓
SD3-ControlNet	Base	0.2795	26.51	0.0093	0.1008
SD3-ControlNet	+FreeInpaint	0.3422	27.10	0.0273	0.0680

消融实验¶

配置	ImageReward↑	L.CLIP↑	InpaintReward↑
BrushNet (baseline)	0.2729	26.45	-0.1791
+ PriNo only	0.3785	26.96	-0.2124
+ DeGu only	0.3908	27.17	-0.0643
+ PriNo + DeGu (完整)	0.5006	27.81	-0.0878
调制器: Constant 0.5	0.3533	26.92	-0.1088
调制器: $\sqrt{1-\bar{\alpha}_t}$	0.3454	26.85	-0.1146
调制器: $\sqrt{\bar{\alpha}_t}$ (ours)	0.5006	27.81	-0.0878

关键发现¶

PriNo和DeGu各自有效，两者结合效果显著叠加
PriNo主要提升提示词对齐但会略微降低视觉合理性，DeGu正好弥补这一不足
HD-Painter与DiT架构（SD3）不兼容（ImageReward暴跌至-0.502），而FreeInpaint对U-Net和DiT架构均适用
用户研究中，FreeInpaint获得了64.52%的胜率，远超SDI（16.16%）和HD-Painter（19.32%）
$\sqrt{\bar{\alpha}_t}$ 调制器显著优于传统方案

亮点与洞察¶

注意力方向错误的发现非常有洞察力：通过对比提示词对齐和不对齐的样本，揭示了修复失败的根本原因在于注意力分散到非mask区域
"只优化第一步注意力"的效率设计十分巧妙：第一步注意力已能代表全步平均，大幅降低了计算成本
分解条件分布为三个独立目标的思路清晰优雅：每个目标用专门的预训练奖励模型处理，无需额外训练
作为即插即用方案，能兼容5种不同架构的修复模型，通用性极强

局限与展望¶

推理速度较慢：PriNo需要多轮迭代优化初始噪声（最多40次/轮），DeGu每步都要计算三个奖励模型的梯度
奖励模型本身的bias会传递到修复结果中（如CLIPScore的已知局限性）
DeGu中三个引导权重 $\gamma_c, \gamma_m, \gamma_q$ 需要针对不同基础模型调整，调参成本不低
仅在Stable Diffusion系列上验证，尚未扩展到Flux等最新架构

评分¶

新颖性: ⭐⭐⭐⭐ — 注意力分析的洞察和分解式引导概念新颖，但基本组件（噪声优化+reward引导）已有先例
实验充分度: ⭐⭐⭐⭐⭐ — 5种基础模型、2个数据集、多种mask类型、用户研究，非常充分
写作质量: ⭐⭐⭐⭐ — 结构清晰，公式推导完整
价值: ⭐⭐⭐⭐ — 实用性强的即插即用方案，但推理效率是实际应用的瓶颈