Paper | Perceptual Artifacts Localization for Inpainting | ECCV2022
Info
Title：
Perceptual Artifacts Localization for InpaintingKeyword：Artifacts Localization（瑕疵定位）
Idea：利用现有的语义分割模型对generated images进行二元分割，是首次检测瑕疵区域的方法，而不是检测hole area。
Source
- Paper，2022年8月5号arXiv submitted，ECCV2022 Oral。Perceptual Artifacts Localization for Inpainting (arxiv.org)
- Code，GitHub - owenzlz/PAL4Inpaint: Perceptual Artifacts Localization for Inpainting, ECCV 2022 (Oral)。
Abstract
现存的问题：
图像修复任务是不适定的（ill-posed），在进行large holes修补时会生成瑕疵和伪影（Artifacts）。
在真实用户应用中，图像修复被用于前景物体去除（现有的irregular mask不如实例分割mask有效），用户更偏好于视觉上可信的背景生成（现有的有参考指标进行修复评估不合理），并迭代进行修复（缺少一个自动化定位瑕疵的方法）。
迭代Inpainting方法
- Su S, Yan Q, Zhu Y, et al. Blindly assess image quality in the wild guided by a self-adaptive hyper network[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 3667-3676.
- Zeng Y, Lin Z, Yang J, et al. High-resolution image inpainting with iterative confidence feedback and guided upsampling[C]//Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XIX 16. Springer International Publishing, 2020: 1-17.
贡献：
提出新任务：Inpainting artifacts segmentation，构建数据集用于模型评估以及迭代细化。
- Dataset：针对目前的SOTA Inpainting模型的生成的有perceptual artifacts的结果进行手工标注，以进行后续的语义分割，定位感知伪影区域。（4795张图片）
- Metric：提出一个叫做Perceptual Artifact Ratio（PAR）的评估指标，度量artifacts区域占整个Inpainted区域的比例。
- Iterative refinement：将生成的语义分割图应用在现有的SOTA模型上，进行迭代优化。
由于商业原因，只开源一部分数据集和推理代码，训练代码和完整数据集不开源。大概有2000张训练图片、400张测试图片、400张验证图片。
Method
- 使用ProFill、CoMod-GAN、LaMa生成用于标记的图像。在hole area周围放置膨胀的包围框，方便用户定位。聘请专业人员进行两轮检查，避免“漏标记”或“过度标记”区域。在4795张图中有832张没有瑕疵，加入训练避免预测假阳性。最终发现，感知伪影区域占孔掩膜区域的平均比例为29.67%。
- 在现有的backbone和head模型上进行训练，以及训练策略的消融。
Evaluation
- 不同方法生成的图片进行配对，然后进行2选1，看和人类观察者的选择一致的百分比。
- 发现随着hole大小增加，感知瑕疵比例也在上升。
- 进行迭代修复策略，随着迭代数的不断增加，瑕疵比例在不断下降。
- 但是感觉迭代修复后的图片只是更平滑了（大多数情况下），并没有完全解决瑕疵的问题，所以用户才会觉得大多数情况下保持一致，不过这里想要证明能够在30%的左右的情况下提升Inpainting效果，没有显著降低原始Inpainting模型性能。
Paper | Perceptual Artifacts Localization for Inpainting | ECCV2022