Paper | CoordFill, Efficient High-Resolution Image Inpainting via Parameterized Coordinate Querying | AAAI2023
Info
Title：
CoordFill: Efficient High-Resolution Image Inpainting via Parameterized Coordinate QueryingKeyword：Adaptive neural networks
Idea：Parameterized Coordinate Querying
Source
- Paper，2023年3月15号arXiv submitted，AAAI2023 accepted。CoordFill: Efficient High-Resolution Image Inpainting via Parameterized Coordinate Querying (arxiv.org)
- Code，作者还没更新repo。NiFangBaAGe (NiFangBaAGe) / Repositories (github.com)
Abstract
高分辨率图像修复现存的问题：
- 高分辨率图像需要较大的感受野，造成更多的计算量。
- encoder-decoder架构会同时重建背景像素（非受损区域），作者认为这样会降低效率。
贡献点：
- 首次将continuous implicit representation引入高分辨率图像修复。
- 在Spatially-Adaptive Pixelwise Networks for Fast Image Translation (arxiv.org)的基础上，提出基于注意力快速傅里叶卷积（Attentional FFC）的参数生成网络。并且只针对掩膜区域进行重建。
Method
先将高分辨率图像（e.g. 1024×1024）双线性下采样到低分辨率空间（e.g. 256×256）。Encoder为三层卷积层，将输入图片特征继续下采样，然后利用六个基于注意力的傅里叶卷积块生成最终的逐像素MLPs参数。
利用一个简单的线性映射，只选取孔洞区域的映射，并将目标分辨率作为条件输入使网络能够对于分辨率敏感。最后利用最近邻插值将逐像素MLPs参数上采样到高分辨率空间，加入带有高频信息的正弦信号位置编码，仅生成代填补区域像素，最终直接贴回原图。
Evaluation
- 主打一个快，但是增益是之前CVPR21的I2I提出的，把该方法迁移到了Inpainting任务上而已。
可能对于高分辨率图像修复的实际应用部署会有很大的帮助。
在人脸图像上也做了实验，但是与HiFill保持训练一致，训练mask只采取了25%左右的缺失区域，很难认定这是高分辨率图像修复任务。
Thinking
灌水痕迹明显的一篇AAAI。
但可能是因为作者是工业界的，用了八卡a100训练这样的模型，方便实际中的高分辨率图像修复部署吧。科研上的价值不大。
Paper | CoordFill, Efficient High-Resolution Image Inpainting via Parameterized Coordinate Querying | AAAI2023