近些年来,随着视觉影像技术的飞速发展,一般的基于彩色图像的影像不能精确刻画现实立体场景,所以也已经越来越不能满足人们的需求,随之而来的三维立体影像技术也应运而生。三维立体影像自然就包含三个维度的信息,除了传统的彩色图像外,还包含了物体场景的距离信息,也就是深度信息。而对于只含场景深度信息的图像我们称之为深度图像,由于深度信息不受场景中物体表面的放射特性以及光照的影响,所以可以更准确地表示物体表面的三维信息,从而弥补了传统光学图像不能刻画场景三维信息的不足。尽管深度获取技术在不断地发展,当和场景对应的彩色图像比较时,得到的深度图像质量依旧很低(较低的分辨率,很大的噪声以及数据缺失)。基于这个原因,深度相机的实际应用还是有一定的局限性;因此就需要开发有效的深度图像恢复技术来支持他们在现实世界有更广泛的应用。深度相机可以获得同场景的彩色图和深度图,所以由彩色图像导向的深度恢复成为现在深度图像恢复技术主流。本文基于匹配的彩色和深度图像展开深度图像恢复工作:1.首先,彩色图-深度图的依赖属性是局部变化的,特别是在几何场景的细节边缘部分。例如,彩色图像中平滑区域常常对应深度图像中平坦表面(因为反射率和形状是相互对应的)。再者,深度图像经常拥有很强的非局部相似性,特别是在几何场景的不连续区域。因此,以彩色图像为导向,并有效地利用这样的非局部相似性是非常重要的。这些发现启发我们发明一个基于联合局部和非局部正则的深度恢复算法-基于矩阵低秩和局部图像模型的深度图像恢复算法(LRL),能够自适应地利用颜色与深度之间的依赖关系。算法LRL在Middlebury数据集上优于现有的最先进的深度恢复方法。2.算法LRL还有一些不足之处,就是非局部正则在图像全局采用低秩正则,这个会造成时间成本上的浪费。因此引入全变差正则化,对于光滑区域就不用低秩处理,可以很好地对平坦区域进行恢复,有效地消除噪声;对于全变差会造成的对比度缺失和纹理缺失等问题,我们对全变差施加不同的权重系数,即加权的全变差(加权TV),因为这些权重系数是由与深度图像相匹配的彩色图像自适应地求得,因而可以很好地适应图像的变化,不仅算法速度大大加快,而且恢复的效果也要比LRL更好。在Middlebury数据集和真实深度数据上都显示出优于其他算法的恢复效果。