Dancing under the stars: video denoising in starlight

TL；DR

A GAN-tuned physics-based 噪声建模来表示暗光下的噪声，文章表示高斯-泊松噪声在极暗条件下并不是很受用，这种条件下的噪声经常是sensor-specific的，比较难被建模。

Method

• 第一个步骤是训练 noise generator 和 discriminator, 它用于区分 real noise & synthetic noise. 文章用长曝 + low gain 获得noiseless 的图片， 短曝光 + 高gain 来获取noisy 的图像。 经过训练后，该noise geerator 可以获取合成的realistic noise。
• 第二个步骤是训练denoiser，训练数据同时使用 synthetic clean 和 noisy video. 其中motion 数据是由 noise generator 生成的，noisy still是由 数据获得的。

• Noise Generator 包括一些比较经典的噪声建模。例如random 的 read noise 和 shot noise, FPN , 行噪声，量化噪声，周期性噪声等等。在这些噪声的基础上，再由一个UNet 来做一个调整。

• GAN 训练：为了使得在每一次forward中生成不同的噪声sample，选取了GAN的训练方法。文章选取了WGAN作为框架。

• 降噪的架构，每一个HRNET的输入是三帧图像，类似二叉树一样两两融合。

Experiment

• 最后两列的比较是是否采用residue来学习，residue 增加了overfit 的风险。指标用的是KL distance。