Paper | Spatially-Adaptive Pixelwise Networks for Fast Image Translation | CVPR2021

Info

• Title： Spatially-Adaptive Pixelwise Networks for Fast Image Translation
• Keyword：Adaptive neural networks，Trainable efficient & Gan-based I2I

Trainable efficient image transformations：Computationally heavy
inference is performed at extreme low-resolution, while the
high-resolution synthesis is comparatively lightweight.

计算量大的推理在极低分辨率下执行，而高分辨率合成更轻量级。

• Idea：Pixel-specific Lightweight MLPs
• Source
  • Paper，2020年12月arXiv submitted，CVPR2021 accepted。Spatially-Adaptive Pixelwise Networks for Fast Image Translation (arxiv.org)
  • Code，ASAPNet (tamarott.github.io)

Abstract

存在的问题：

• 现有的I2I方法随着性能的提升，推理时间也不断增加。

本文的贡献：

• 在不牺牲性能的同时，降低运行时间，提升推理速度。

Method

直觉上直接使用MLP预测效果会很差，文章提出了三个组件使网络表达能力增强。

• Spatially-varying Parameters：与CNN的参数共享不同，本方法针对每个像素点的MLP参数是不同的（spatial-adaptive、spatial-varying）。逐像素预测可以并行计算，因为像素与像素之间独立，因此推理速度大幅度提升。
• Sinusoid Positional Encoding：除了input pixel values以外，还将像素空间位置以不同频率的正弦信号编码，其频率高于上采样因子，以生成高频图像细节。
• Input-adaptive Parameters：在低分辨率空间预测参数，对于每张图预测的逐像素MLPs参数均不同。

Evaluation

• 主打一个快，且性能没有显著下降。

• MLPs一般只能学习到低频细节。在连续隐式表达中（神经渲染方向），MLPs表征能力不是很强，就像消融实验中的没有位置编码的模型生成结果一样。所以本文牺牲了极大的训练内存来换取速度。

Thinking

• 听师兄说，这是20年、21年CVPR比较热门的（灌水）方法。
• 后续会follow一篇在23年利用该方法发表（灌水）AAAI23的高分辨率图像修复方法。