作者: 埃里克不吃香菜
https://zhuanlan.zhihu.com/p/70230047
本文已授权, 未经允许, 不得二次转载
- EnlightenGAN: Deep Light Enhancement without Paired Supervision
- arXiv:https://arxiv.org/abs/1906.06972
- code:https://github.com/yueruchen/EnlightenGAN
最近一年来, 夜景模式逐渐成为各大手机厂商的标配, 从 google pixel3 到 oppo,xiaomi,huawei, 夜景拍摄逐渐成为人们的刚需.
尽管传统方法在亮度增强上已经有了不错的效果(例如直方图均衡化, Retinex), 此类算法缺乏对 context 信息的处理, 限制了最终效果的提升. 基于 data-driven 同时又学习 prior knowledge 的深度学习方法更加吸引我们. 然而, 训练 data-driven 方法同时要求我们拥有更多的成对数据. 如何解决收集和制作大批量成对数据的难题极大的阻碍了深度学习方法应用于实际场景当中.
本文中提出了应用于无监督学习的低光图像增强算法. 具体而言, 作者在实验中发现由 pre-trained VGG model 构成的 perceptual loss 对光照信息并不敏感, 于是构建了 perceptual loss 和 adversarial loss 对抗的损失函数. perceptual loss 成功地约束了图片除光照以外的特征信息, 而 GAN loss 帮助模型学习了生成更加逼进真实光照的图像. 区别于 CycleGAN,EnlightenGAN 并未使用 cycle consistency 的结构来约束模型稳定性, 只需要 one-path architecture 就能训练, 节省了训练复杂性.
Two-path GAN vs. One-path GAN
除此之外. 无监督学习相比于监督性学习引入了更多的不稳定性, 作者加入了 self-regularized attention 和 global-local discriminator 模块来提高模型对于细节特征的处理, 具体结构如下.
同时, 本文采用了第三方用户评测和 non-referenced metric 来对模型进行比较
最后, 由于无监督训练带来的便利性, EnlightenGAN 可以随意地更换数据集来实现领域适配. 例如, 当我们想将模型应用到条件恶劣的自动驾驶数据集中时, 我们可以仅改变低光训练数据为自动驾驶场景 (Berkeley Deep Drive) 的低光数据, 正常光数据依旧使用先前数据, 由于模型在训练时已经适配自动驾驶数据集的环境, 训练的模型相比于未适配模型有了显著的提升(最右列是适配的模型), 对比倒数第二列和传统算法, 适配后的模型既能做到亮度的提升, 也减小了 artifacts.
来源: https://www.qcloud.com/developer/article/1459837