增强现实技术将计算机生成的虚拟信息加入到真实环境中,这需要满足光照一致性、几何一致性和时间一致性,以提高虚拟信息和真实世界融合的视觉一致性。增强现实技术的光照一致性需要估计整个真实场景的光照分布,从而准确渲染虚拟物体插入到真实场景中。本文针对增强现实中的光照一致性问题,做了如下工作:1.首先针对在各种条件拍摄的彩色图像难以满足光照估计任务需求,提出了融合多分支残差与仿射变换的低照度图像增强方法。该方法借鉴最新深度学习多分支残差网络的成功,设计了光照估计模块、光照仿射变换模块、细节重建模块来分别处理低照度图像存在的低光、噪声和细节问题。为下一步实现增强现实中的光照一致性提供前提条件。2.其次设计了材质和形状估计网络与球形高斯光照建模网络。图像的形成是物体形状、材质、光照和相机等信息复杂交互的结果,则获取光照信息就需要逆转图像形成的过程。先利用材质和形状估计网络从单图像中获得场景的反照率、法线和粗糙度图。再将原图像、增强后图像与材质和形状估计网络的输出结合,通过球形高斯光照建模网络估计出空间变化的照明信息,解决虚拟物体重光照问题的同时也为虚拟物体向真实场景提供绘制阴影的条件。本文将深度学习技术应用到增强现实系统中来解决光照一致性问题,提出了基于图像的逆向光照估计方法。该方法不需要场景的任何三维形状信息先验知识,也不需要限定场景中物体的材质和纹理,适用于任何漫反射或者镜面反射的场景,除了场景单图像外不需要任何额外的输入。而且将获得的光照信息应用到增强现实系统中,可以较好地提高虚拟信息与真实世界融合的视觉一致性。因此本文提出的基于图像的深度逆向光照估计方法有一定的理论意义和实用价值。