论文部分内容阅读
多曝光动态场景HDR重建问题具有很大的挑战性,由于场景中包含了运动物体及相机抖动等运动因素,使得合成HDR图像时易产生鬼影和模糊。目前研究人员提出了一些方法以解决该问题。有些研究人员提出了传统方法,例如基于分块的方法和运动映射方法,还有一些研究人员将HDR重建问题建模为深度学习模型。本文提出了一种结合传统技术流程与深度学习的方法,首先利用基于深度学习的光流算法[1]将图像序列向参考图像配准,然后利用融合网络将配准后的图像融合为HDR图像。本文的主要研究内容如下:（1）动态场景HDR融合的技术流程本文提出了一个解决多曝光动态场景HDR重建问题的技术流程,主要包括三个阶段:预处理、配准和HDR融合。首先对输入图像序列进行预处理,再利用基于深度学习的光流算法将输入图像序列向参考图像配准,然后将配准后的图像作为融合卷积网络的输入图像序列,最终产生无鬼影的HDR图像。（2）基于深度学习的图像配准本文提出了一种基于深度学习的配准方法。考虑到光流法的假设之一就是前后帧的曝光度一致,本文提升了较暗图像的曝光度并且降低较亮图像的曝光度,以使得输入图像序列的曝光度一致。然后,本文利用Ilg等人基于深度学习的光流算法FlowNet2.0分别计算相邻图像之间的光流。最后,本文利用相应的光流通过双三次插值使目标图像向参考图像配准。最后得到了配准后的图像序列,为后续的融合阶段做好准备。（3）基于深度学习的HDR融合本文提出了一种基于深度学习的融合方法。在融合阶段,需要解决的问题主要有两个:一是消除配准阶段遗留的人工痕迹和错误,二是将配准后的图像序列融合为最终的HDR图像。本文的方法主要利用了深度全卷积网络强大的学习能力将配准后的输入图像序列融合为无鬼影的HDR图像。本文创建了一个真实世界动态场景的HDR数据集,用于深度全卷积网络的训练和测试。还提出了两个不同的融合卷积网络结构,进一步改进了动态场景HDR重建的效果。