基于注意力机制的光场图像深度估计与角度重建

来源 :上海师范大学 | 被引量 : 0次 | 上传用户:xtt1027
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在传统摄影中,相机通过记录不同方向的光线形成像素值,但这导致了光线方向信息的丢失。光场相机克服了这一缺点,在相机主镜头和图像传感器之间插入微透镜阵列,实现了视点的密集采样,并将测量数据转换为不同视点的多视点光场图像。光场图像包含了场景的深度线索,在人脸识别、自动驾驶、三维重建等方面有着有趣的应用。本文基于注意力机制优化深度学习框架,提升模型训练效果,设计构建了光场深度估计算法和光场超分辨移位窗口优化重建方法。主要内容为:1.深度估计是光场研究中最基础但又最困难的问题之一,在深度估计过程中,常常忽略不同子孔径图像之间的相似性且易出现深度估计细节误差较大的问题,针对这一情况,本文设计提出了一种复合注意卷积神经网络CAtt Net(Compound Attention Convolutional Neural Network),用于从光场图像中获取深度图。为了更有效地利用光场的子孔径图像,减少子孔径图像的冗余信息,在提取主特征后,采用复合注意机制对特征图的通道和空间进行权衡,从而更有效地选择所需视图和视图中的重要区域。本文通过改变特征提取的结构,在不添加额外参数的情况下更有效和有用地提取特征。通过探索光场特性,增加网络深度,优化网络结构,减少光场结构传递过程中的损失。CAtt Net网络可以有效地利用不同的子孔径图像间的相关性和特征来生成高质量的光场深度图。通过实验结果表明,CAtt Net在定量和定性上都优于其他方法。2.重建与深度估计之间的联系非常紧密,但在重建过程中易出现图像混叠伪影和重建结果细节差的问题,针对这一情况,本文提出了一种基于窗口选择的优化方式,使用深度估计图像对光场重建。在输入少量宽基线的光场图像之后,通过重建光场模型获得更多未损分辨率的光场图像。为了更有效关注子孔径图像之间的关联性,在提取浅层图像特征之后,采用具有全局注意力的移位窗口方式对主干进行优化,并通过物理扭曲方式预测出更多视角下的深度图,这种混合扭曲的图像帮助本文探索光场空间-角度关系,恢复光场结构重建出角度超分辨率的光场。通过实验结果表明,基于窗口选择的角度重建是一种有效提升重建效果的方式,是对光场基础结构和深度估计的进一步探索,具有很好的发展前景。
其他文献
以深圳市塘朗山为研究对象,首先通过对塘朗山的地形中坡度,坡向,海拔,垂直弯曲方向等要素的收集,运用视域通视性分析的方法,通过分析它们的变化对视域范围的影响,得到地形变化与视域范围变化的相关性程度大小和其相互作用规律,为观景平台选点提供视域参考。其次,运用视线通视性分析的方法,通过对点与点间可见性的研究,构成由视域面精准到视线点的视域网结构,通过连接与改善点,线,面的相互关系,将视觉呈现的复杂性转化
学位
纸币研究是货币史、经济史研究的重要组成部分。民国时期仅发行过纸币的地方银行就约有134家,纸币从某个角度体现了当时社会政治经济的现状。民国纸币上的信息包括发行机构,冠字号码、年号、签字和面额等。利用计算机自动高效的提取民国纸币中的文字信息,对馆藏纸币数字化储藏系统的开发有着重要的意义。由于民国纸币文字信息位置不固定、出于防伪设计的文复杂构图、艺术字体以及大量弯曲文本等因素,增加了民国纸币检测识别的
学位
<正> 文献综述是以某一专题为中心而搜集最近一段时期(通常为2~3年内)有关文献,所写成的带概述性的文章。这类文章的特点是综合性强、资料新、涉及面一般较窄,但较深入,有一定的时间性。撰写者多与本专业有关,并对该专题有多年研究经验。文献综述是一种受读者(尤其是从事科
期刊
随着自动驾驶技术的发展,人们对自动驾驶的安全问题日益关注。当自动驾驶车辆驶入街道,会遇到需要避让行人的情况。为了让自动驾驶车辆在短时间内做出正确的决定来保障行人的安全,研究人员开始对行人的轨迹进行研究,并提出了行人轨迹预测算法。行人未来的运动轨迹不仅受到自己的主观意识影响,还会受到相邻行人的影响,因此行人的轨迹存在随机性和高动态性,这些特性使得行人轨迹预测问题充满挑战。本文的研究内容主要包括以下几
学位
随着计算机视觉技术的不断进步,在目标检测、跟踪和识别过程中,清晰的图像一般都能取得更好的效果,获得更高的精度。但在实际场景中,图像很有可能会受到真实环境因素的影响。这可能导致原始图像的视觉效果、数据质量等大幅下降,影响后续任务。因为大部分的算法研究都忽略天气影响,如不考虑雨、雪、雾等干扰。因此,在未来的视觉任务中,研究需要深入考虑天气因素的影响。本文对现有单幅图像去雨算法进行分析并总结现有方法存在
学位
城市燃气管网系统是城市重要的能源供应系统。燃气负荷预测是其非常重要的功能,对城市燃气合理并安全的利用具有举足轻重的意义。在现今众多的燃气预测方法中,门控循环单元(GRU)已经成为一个主流方法,能较好的挖掘燃气负荷数据的自相关特征及其他特征。本文在采用GRU进行燃气负荷预测的研究中发现该方法在时序维度上捕获信息的能力仍旧显得较弱,很难得到精确的预测结果。对此常用的解决方法是采用注意力机制强化时序信息
学位
2021年,武术中考在上海市正式开启,初中学校武术得到了全面普及与落实。这也代表着国家对民族文化以及民族传统体育的重视度越来越高,国人对民族传统体育的关注度也越来越高,武术项目作为育人、文化传承的载体任重而道远。但武术项目在学校中的发展存在着许多问题,武术在学校如何实施也是社会各界都在关注与研究的问题。因此,本文通过对上海市十六个区各个中学的武术实施情况进行调查,分析出上海市武术实施的影响因素并提
学位
半导体激光器拥有体积小、波长覆盖广、相关性高、可批量生产、可单片集成化等优点。中红外波段是大气的窗口波段,且覆盖很多重要分子的特征谱线,因此对该波段光源的研究已成为目前世界上的热门课题。锑化物涵盖Al、Ga、In、As、Sb等Ⅲ-V族半导体元素,是目前中红外器件首选材料。而有源区带间级联的结构特点使器件能拥有比较低的电压,阈值电流密度和功率损耗。目前以Al Ga As Sb作为波导包层的ICL的研
学位
光场技术作为一项前沿的技术推动光场相机的应用,光场图像是多个摄像机从不同角度拍摄同一场景所获得的图像的集合。近年来光场成像设备不断发展,光场图像处理被广泛研究。但由于光场相机的传感器分辨率有限,光场相机面临着空间分辨率和角度分辨率之间的权衡。为了捕捉场景中光线的强度和方向,光场相机无法同时获得高空间分辨率和高角度分辨率的图像。针对以上问题本文对视图一致性的光场空间超分辨率重建和光场角度超分辨率重建
学位
为适应不断变化的软件需求,开发者需要通过软件变更来实现软件的维护和修改。过于频繁的软件变更预示着代码存在可维护性问题,尽早地识别具有更改倾向的代码类可以极大地提高维护效率和质量。在对软件类的变更倾向研究中,已有通过代码异味相关信息进行软件类级变更预测的实证研究,代码异味强度在对易变类的预测中表现良好。社区异味是代码异味概念在开源软件开发社区中的衍生,可用于识别开源软件开发社区中存在的不良沟通和协作
学位