双目视觉匹配算法及其关键技术研究

来源 :贵州大学 | 被引量 : 0次 | 上传用户:scx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
双目视觉作为三维重建的关键技术之一,因其硬件设备简单、对场景变化鲁棒性强等特点,广泛应用于自动驾驶、机器人定位和工业智能制造等领域。匹配算法是双目视觉的核心技术和研究重点,目的是提取高精度的视差图,进而准确获取三维场景的深度信息。然而,随着硬件设备的快速升级,当前的双目视觉匹配算法对高分辨率图像中弱纹理、无纹理、重复纹理、光照变化、遮挡和深度边缘等病态区域易产生误匹配、全局算法计算复杂度高、跨域的泛化性差、无监督的传统算法与深度学习方法不能高效融合等问题,使得匹配算法不能快速获取高精度的视差图。本文围绕上述问题展开了深入研究,其主要创新和贡献包括以下几个方面:(1)针对高分辨率图像中光照变化、反射、弱纹理、无纹理、重复纹理区域难以匹配,提出了基于置信度和多尺度上下文信息融合的局部扩展全局匹配算法HLocal ExpCM,显著提升了对上述病态的的匹配效果和视差精度。首先,该算法在网格结构上融合了局部多尺度上下文信息,增强算法对于上述病态区域的特征表示能力。其次,根据融合了局部多尺度上下文信息的全局算法中数据项能量值的变化,设计了置信度估计模块筛选精准的候选视差平面,并将置信度高的视差平面作为全局算法的输入进行优化。最后,提出了两阶段逐层优化策略,先利用多尺度上下文信息融合的局部算法快速缩小视差平面的搜索范围,再利用置信度估计模块和多尺度上下文信息融合的全局算法交替迭代优化得到高精度的视差图。整个算法在多层分组网格结构上进行优化。实验结果表明,该算法的整体精度高,对不同场景的鲁棒性强。(2)针对(1)中HLocalExp-CM算法计算复杂度高、深度边缘处理较差、匹配效果受限于块大小等问题,首先,提出了基于超像素分割的块匹配算法LPSC,该算法首次提出了融合颜色、梯度和二值图像信息计算两像素点之间的权重,增强了算法对于弱纹理、重复纹理和边缘的识别能力。该算法在每个超像素内快速提取具有局部平面表征能力的特征点,通过空间传播和平面优化对特征点进行非局部匹配算法优化,快速得到候选视差平面集合。将该候选视差平面集合对相应超像素内所有像素进行非局部匹配算法优化,快速获取每个像素的视差。为了实现算法的并行加速计算,采用了包裹超像素的局部块和掩码操作。其次,为了进一步提升对遮挡、弱纹理和深度边缘区域的匹配效果,提出了基于超像素分割的局部扩展算法LESC。该算法在LPSC算法的基础上融合了HLocal Exp-CM算法的逐层优化思想和局部扩展方法。该算法在特征点和超像素优化阶段进行邻域传播和平面优化的非局部算法逐层优化,然后在最大层超像素融合局部扩展方法进行交替优化。实验结果表明了两种算法的有效性,均实现了精度和计算效率上的均衡,在与HLcao Exp-CM算法精度相当的情况下,大幅度提高了算法计算效率。(3)提出了基于深度边缘优化的无监督匹配算法SDCO,在高效提取和保留准确深度边缘的同时,还显著提升了目标内部遮挡、无纹理、弱纹理区域的匹配效果和视差精度。首先,提出了一种新的匹配代价计算方法,融合了颜色和梯度组合、Census变换信息。然后,在算法的优化过程中,根据颜色、梯度和空间距离信息对图像进行分割和优化,设计了包含深度边缘和局部块信息的深度超像素结构,并提出了基于深度超像素结构的平行平面视差图和倾斜曲面视差图优化方法。最后,通过大量的实验结果表明了该算法的有效性,显著优于同类的无监督算法。(4)提出了基于深度边缘和结构优化的自监督双目匹配网络SANet,解决了深度学习方法在无Ground truth进行训练、只有输入图像的情况下获取精度较高的视差图,以及提升跨域的泛化性等问题。SANet网络将无监督匹配算法SDCO与轻量级的深度学习网络相融合,进一步对深度边缘和目标结构进行优化和补全。该自监督网络包含3个优化模块,分别为监督学习、多尺度重构左图、多尺度深度边缘感知。根据网络优化模块的设计,提出了多尺度损失函数进行网络训练。实验表明了SANet网络在不同的数据集上获得了精度较高的视差图,且展现了较好的跨域泛化性。
其他文献
叶形是重要的农艺性状之一,在芸薹属植物中具有从全缘叶到深裂叶(也称花叶)等广泛的自然变异。已有的研究表明花叶较其它叶形更有利于空气对流、优化冠层结构,使作物更适应高密度的种植方式。然而,目前油菜中关于花叶形成的分子机理研究很少。本实验室前期通过铜陵花叶(HY,深裂叶)与浅裂叶油菜中双9号(Z9)组配构建分离群体。在此基础上,本研究通过图位克隆的方法分离花叶主效基因,并对其调控机制进行了初步研究,主
学位
高分子材料在国民经济与社会发展过程中发挥着重要的作用,但是其大规模应用所带来的资源和环境问题日益凸显。一致认为,利用储量丰富的可再生生物质资源为原料,发展新型高分子材料,是实现高分子工业可持续发展的重要途径之一。纤维素、木质素、壳聚糖等是取之不尽、用之不竭的生物可再生资源,由于其同时具有可生物降解、易改性、生物相容性好等特点,基于其分子骨架,发展新型、绿色、高效的衍生化策略,构筑绿色高分子新材料一
学位
油菜是仅次于油棕榈和大豆的世界第三大油料作物。菜籽油的品质主要是由油菜种子中脂肪酸组成和各脂肪酸成份所占比例决定的。油酸具有预防人的心血管疾病和动脉硬化炎性疾病等功能;高硬脂酸含量的植物油用于制造人造脂肪食品不仅能节省氢化成本而且还避免了反式脂肪酸的产生,同时具有不影响胆固醇浓度等优点;低含量的亚麻酸可防止菜籽油的氧化和酸败,对于健康食品的生产至关重要。因此,根据用途创造具有特定脂肪酸含量的新材料
学位
油菜是我国重要的油料作物。为了满足我国食用油市场的需求,进一步提高产量是当前油菜育种的主要目标。油菜产量形成是一个极其复杂的过程,千粒重、每角粒数和全株角果数是油菜单株产量的三个构成因素。其中,油菜分枝数通过影响全株角果数,在油菜产量形成上发挥着重要作用。本研究以轮回群体中一个高分枝密度的自然突变dense branching 1(db1)和正常株型的自交系T109为亲本构建分离群体,对一次有效分
学位
多铁性材料以其新颖的多场耦合特性受到人们广泛的关注,在现代光电子材料与器件等领域展现出巨大的应用前景,被广泛应用于能量转换、信息存储、高频通信等领域。尤其近年来多铁性层状类钙钛矿体系的出现,更是为人们的设计提供了无限的可能。因此,本论文以层状类钙钛矿体系中性能优异的窄带隙氧化物Bi2Fe Cr O6(BFCO)和Bi6Fe2(1-x)CoxNixTi3O18(x BFCNT,x=0.0,0.2,0
学位
Mg2Si是一种间接带隙环境友好型半导体材料,在热电材料、电池材料、结构材料、复合材料等方面的研究较多。C、Mg和Si无毒无污染,地壳中含量丰富,表现出对环境友好和可持续发展特性。Mg2Si拥有0.6–0.8 e V的带隙宽度,在500 nm附近有超过10~5cm–1的高吸收系数。探测波长范围为400–1500 nm,能将现有硅光电探测器的光响应截止波长扩展到1100 nm以上,它有很大的潜力成为
学位
实蝇类害虫是我国乃至全球范围内具有重要经济意义的有害生物。柑橘大实蝇(Bactrocera minax)寡食性,仅为害芸香科柑橘属果实,成虫在绿色未成熟的柑橘果实上进行交配和产卵,导致柑橘未熟先黄、提前先落,造成巨大的经济损失。橘小实蝇(Bactrocera dorsalis)多食性,为害250多种果蔬,成虫偏好产卵为害成熟的寄主果实。利用实蝇昆虫趋色行为研制的诱捕器及色板在监测防控中得到了重视和
学位
上世纪90年代启动的人类基因组计划,正式开启了全球生物大数据时代。人类基因组计划的完成诞生了基因组信息学以应对其产生的海量数据,而代谢网络与基因组信息学密切关联,已成为研究与应用的热点。这涉及到酶反应之间的相关性计算,代谢途径的计算算法,13C标记动力学的模拟计算和13C代谢通量的计算。代谢网络是一种完整的决定细胞生理学与生物化学属性的整套代谢和物质过程,代谢网络执行生物生存,发育和繁殖所需的物质
学位
冷胁迫是不利的环境因素之一,可以导致植物的各种代谢产物发生变化,影响其正常生长发育,从而限制了作物的生产与产量。甘氨酸甜菜碱(Glycinebetaine,GB),又被简称为甜菜碱,广泛分布于植物体内,是一种高效无毒的小分子渗透调节物质,可以调节细胞内的渗透压,在植物逆境响应中发挥着重要的作用。众所周知,植物在寒冷、干旱或盐等胁迫下可以引起甜菜碱在细胞内的积累,然而,这一生理反应的具体作用机制及涉
学位
番茄(Solanum lycopersicum)是一种重要的蔬菜作物,为全球消费者提供丰富的营养物质。果实色泽作为番茄果实一种重要的感观品质,影响果实的商品性。条斑是自然界中是一种常见的色泽表型,如在玉米、苹果、西瓜和花卉中普遍发生,但是造成这种色彩差异分布的机理研究较少。目前研究者对色泽差异分布的机理主要归因于功能基因突变、RNA沉默、转座子跳跃和基因启动子甲基化。在番茄常规育种中,条斑番茄gs
学位