论文部分内容阅读
当今社会,人工智能技术的发展突飞猛进,而其重要的一个分支—计算机视觉技术,应用前景十分广泛。景深算法作为计算机视觉技术的一个重要组成部分,拥有广阔的应用场景和巨大的研究价值。然而,传统的景深算法技术存在一些劣势。比如:多视点系统对设备需求量大、要求高,成本相对较高;而单目视觉系统视角太少,所以其提取的景深精度较低。光场相机的出现完美解决了单目和多视点视觉系统中存在的问题,为景深算法领域注入了新鲜血液。光场相机系统中,在主透镜和图像传感器之间放置微透镜阵列,每条入射光线的光量和方向被同时记录,相当于同时采集了物体的空间和角度信息。所以,光场图像携带的丰富信息对后续的景深计算十分有益。但是,光场图像的基线十分狭窄,空间分辨率和角度分辨率难以折衷、且存在遮挡等问题,传统的密集光场景深算法计算结果不是十分准确,且由于数据量大,计算效率普遍较低。因此,研究适合光场的景深算法,尤其是适合稀疏光场的景深算法是本文的工作重点。基于以上分析,本文主要针对光场图像进行超精细的景深算法研究,主要研究内容和创新点如下:1、阐述了光场景深算法的相关原理,包括光场的两平面参数化模型、EPI(Epipolar Image)可视化理论;光场相机采集光线的原理、光场重聚焦原理;并运用Matlab光场工具箱对光场相机采集的原始图像进行预处理。2、研究了光场景深算法的基本框架,其主要流程包括:输入图像的预处理、初始景深的提取、光场景深的精细化处理,最终得到超精细的景深图。分析了四种初始景深算法,包括:多视角立体匹配法、基于EPI的方法、焦点堆栈法、基于深度学习的方法,在此基础上,研究TV(total variation)正则化、引导滤波等光场景深精细化处理方法。3、提出了基于EPI和TV正则化的光场景深算法。基于EPI的初始景深算法在小范围内对像素进行匹配,提高算法效率;并运用回归检测减少错误值,用加权运算提高算法准确率。最后,采用TV正则化方案对初始景深进行精细化处理。实验结果表明,此算法对密集光场的景深提取十分精确,且对稀疏光场的适应性较好。4、提出了基于卷积神经网络(CNN)的光场景深算法。借鉴EPI的方法,设计了对应于四个视点方向(水平,垂直,左右对角线方向)的多流网络,分别提取这四个方向的特征,然后进行融合。针对稀疏光场,提出了一种特殊的中心视点平移的数据扩增方法。最终,运用引导滤波和TV正则化方法,进一步精细化处理卷积神经网络提取的景深。实验结果表明,此算法不仅能提取计算机合成光场的超精细景深,对自然光场的适应性也很好;不仅能获得密集光场的超精细景深,而且能获得稀疏光场的超精细景深。