MuLUT Cooperating Multiple Look-Up Tables for Efficient Image Super-Resolution

TL;DR

将LUT 和 SR相结合，为了解决single lut 感受野不足的问题，将SR-Lut扩展至 Mutiple-luts。（1）设计了两种互补的pattern ，同时构造multiple luts （2）re-indexing 机制来实现 hierachical indexing 。 这种做法使得mulut 的size 和 本身的index capacity 呈线性关系。

  • contributions
    • casecade 方法 + re-index 机制，实现多级index
    • Mulut 用在 demosaicing 任务上，证明其优于SR-LUT

Method

Untitled

  • SR-lut 的获取方式，基于一个训练好的SR网络，带着有限的感受野。LR pixels 作为query，从Lut 中恢复出HR的像素
  • 通过Multi-Lut， 把感受野从3X3 → 9X9. 由于Lut 的size 是指数级增长的，因此本方法在这里进行了约束。

Untitled

  • Mulut 包含三个平行的branch， 并且2个casecade阶段。训练是 end-to-end 进行的

Untitled

  • Parallelizing Lut . 分别代表三个index pattern。 indexing pixels
    of MuLUT-S, MuLUT-D, and MuLUT-Y are (I0, I1, I3, I4), (I0, I2, I6, I8), and
    (I0, I4, I5, I7),

Untitled

  • 图像中的index 是采样的，并且存在int8的数据格式里。previous Mulut 的值会在forward时quantize成整数

Untitled

  • Lut-aware finetune策略。 一方面是lut 中的值是trainable的，另一方面在训练过程中，lut值适应了这种采样和插值过程