Paper | Generative Diffusion Prior for Unified Image Restoration and Enhancement | CVPR2023

Info

• Title： Generative Diffusion Prior for Unified Image Restoration and Enhancement
• Keyword：Unified Problem Solver、Generative Diffusion Prior
• Idea：利用原始图像的统计先验为受损图像匹配最优的原始图像，在denoising process中使和y保持一致，这样去噪后可以得到与y一致性最高的未受损图像。
• Source
  • Paper，2023年4月3号arXiv submitted，CVPR2023（加上补充材料有47页，很疯狂）。Generative Diffusion Prior for Unified Image Restoration and Enhancement (arxiv.org)
  • Code，GenerativeDiffusionPrior。

Abstract

现存的问题：

• 现有的image restoration方法通常利用自然图像的后验分布，然而退化是已知的，且需要监督训练。

贡献：

• 以一种无监督的抽样方式高效的建模后验分布。使用预训练的DDPM来解决linear inverse，non-linear、blind problem。第一个提出了利用无监督抽样方式统一图像恢复和增强任务。

Linear inverse problems, such as image super-resolution , deblurring , inpainting, colorization, where the degradation model is usually linear and known.

Non-linear or blind problems, such as image low-light enhancement and HDR image recovery, where the degradation model is non-linear and unknown.

Method

• ，其中为受损图像，为原始图像，为退化模型。

• 利用储存在大规模图像数据集上训练的diffusion model作为原始图像的generic image prior，为受损图像匹配最优的原始图像。

• DDPM的reverse denoising process可以利用受损图片（degraded image）作为条件，采用条件分布，已有文章证明了以下公式：

• 其中，，，，和为常数。

• 可以看作是去噪后得到与y保持一致性的高质量图片的概率，提出一个启发式近似（heuristic approximation）：

• 为图像距离度量（image distance metric），为归一化因子，为用于控制引导幅度的比例因子（scaling factor controlling the magnitude of guidance），为可选的提升GDP灵活性的质量提升损失（可以用于控制诸如光线的属性，或者增强去噪后图像的质量），是调节图像质量的比例因子。

• 计算梯度：

• 综上，可以近似的通过无条件transition获取，通过沿着梯度方向）改变无条件分布均值。

• 现有的条件扩散模型的方差用于抽样过程中的均值偏移，但在实验过程中效果不好（融入了受损图像和损失的梯度引导的情况），于是不用方差，固定引导因子，引导的denoising process可以通过引导变量控制。

• GDP-就是常规的对于进行控制的扩散模型，只不过不利用方差。但是效果不好，因为是具有特定噪声大小的噪声图，而y是个受损图像（没有噪声，或者噪声magnitude不同）。用MSE和感知损失会导致最终生成图像质量较低。

• GDP-将条件信号作用于。在采样过程中，预训练的DDPM通常都会先从噪声图预测一个干净的image，估计中的噪声，在timestep t时已知可以直接推导出，然后再利用$\tilde{x}0x_tx{t-1}$进行采样。

• 已知的退化模型直接添加即可，未知的退化模型（如暗光增强），随机初始化然后在采样过程中同步优化即可。

Evaluation