论文部分内容阅读
自然界中场景辐射值的变化范围极其广泛,一般的成像设备出于软硬件限制只能显示两个数量级的亮度变化,因此在对原始场景的辐射分布进行非线性压缩时,丢失了超出显示范围的场景信息,无法真实还原我们人眼看到场景亮度和细节部分。高动态范围图像(High Dynamic Range Imaging,HDRI)是一种可以更加真实表示实际场景中亮度大范围变化的图像类型,由于人们开始对于图像质量和体验有了更加极致的追求和期待,高动态范围图像逐渐走入我们的视野。多曝光合成方法是从多张不同曝光水平的图像提取信息融合得到HDR图像,是目前最广泛和有效的一种方法。但传统的图像处理方法过度依赖像素对齐,难以避免动态场景下的伪影问题,鉴于深度学习方法能够从大量样本中学习动态区域的重建,在复杂的映射任务中有着出色的表现,本文提出了一种基于卷积神经网络的多曝光合成模型,具体研究内容如下:(1)设计了一种三层级联式的网络用于生成HDR图像。依次向网络输入不同曝光水平的低动态范围图像,通过第一层分支优先处理参考帧图像的方式,有效地避免了由于前景位移产生的混合伪影。第二分支与第三分支递进式提取低曝光图像与高曝光图像中包含的过亮和过暗信息,能够稳定提高合成HDR图像的质量。(2)在级联网络的基础上,使用长短期记忆网络与膨胀卷积提升了模型的生成效果,提出了循环级联网络。该网络加强了多曝光图像之间的差异对比性,有助于不同层次特征的提取。针对改进后的网络,将单帧数据集扩展为多帧样本进行训练,克服了长期以来,多帧HDR生成任务中训练集单一的问题,使网络模型更具鲁棒性。本文的实验部分使用多种HDR成像方法与本方法进行了对比,分别从主观图像质量和客观图像质量方面进行评估。结果表明,三层级联式的网络结构对动态场景下的HDR合成有着很好的抗伪影能力,并且能够重建图像的纹理细节,保持良好的对比度。通过进一步的数据增强,网络在数据分布各异的场景下都能保证HDR合成质量,并在色调准确度上有了进一步的提高。