基于空间深度信息和级联CRFs的语义分割方法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:tjyydtj1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为计算机视觉领域的一个重要研究课题,图像语义分割的目标是将语义标签分配给图像中的每个像素,使彩色图像转化为语义标注图像。尽管深度学习方法的出现使得图像语义分割得到了明显改善,但仍存在一些问题:在某些复杂场景中,由于拍摄角度不同和光照不均匀,图像中包含许多不同目标相互重叠、低层视觉特征不明显等现象,因此常常出现一些因目标外貌特征相似而产生的语义混淆问题;除此之外,由于卷积神经网络中的下采样操作丢弃了大量图像信息,导致分割结果中物体间上下文关系模糊以及目标物体边界信息不清晰。因此,为了增强模型分辨外貌特征相似的物体的能力以及增强对物体边界定位的能力,本文提出了两种图像语义分割方法:基于空间深度信息的语义分割方法和基于级联CRFs的语义分割方法。两种方法的具体介绍如下:(1)考虑到深度图像的特性,本文提出了一种引入空间深度信息的语义分割方法,主要是向RGB支路叠加深度图像,以加入额外的场景空间信息,从而缓解模型混淆相似目标的问题。考虑到编码器-解码器模型和空间金字塔结构在语义分割中的优势,首先建立一个基于空间金字塔池化的编码器-解码器语义分割模型:Basic Net,然后在该模型基础上引入空间深度信息,建立基于RGB-D图像的双支路语义分割模型,两条支路分别用于RGB特征和空间深度特征的提取。为了使模型在学习图像语义信息的同时获取尽量多的空间深度信息,将两条支路的特征进行多次融合,再通过空间金字塔池化模块提取不同区域内的RGB-D特征,实现利用物体的空间深度信息达到将重叠的、易混淆的目标区别开的目的。最后,通过多组对比实验验证了本文方法的有效性。(2)虽然目前一些语义分割方法使用条件随机场获取边界信息,但通常只是针对模型的最终输出进行处理。本文建立了一种基于级联CRFs的语义分割模型,旨在从模型的不同层次学习边界信息,增强模型对物体边界的定位能力。考虑到条件随机场良好的边界处理能力,并受到FCN模型中跳跃结构的启发,本工作设计了一个级联CRFs模块并将该模块引入到Basic Net的解码阶段。具体来说,将Basic Net的多个解码器的输出进行条件随机场处理,并将当前条件随机场的输出作为下一个条件随机场的输入,以此形成一种级联关系。随着条件随机场的不断级联,不仅逐层补充了图像的深层特征和浅层特征,还更加准确地定位了物体的边界轮廓。为了进一步补充图像语义信息,将级联CRFs的输出与最后一个解码器的输出进行融合,使模型在增强对物体边界定位能力的同时得到更准确的语义分割的结果。最后,在不同数据集上的多组实验表明,该方法增强了模型对目标边界定位的能力。
其他文献
上世纪七八十年代,琵琶重奏这种多人使用相同乐器进行演奏的形式,打破了琵琶在人们心中大多是独奏的印象。近几年越来越多的琵琶演奏者加入到琵琶重奏的行列中,笔者想通过近
逆合成孔径雷达能够对非合作目标实现主动成像,该技术已经在多个领域内应用并受到了广泛的关注。ISAR成像中的两个较为关键的问题分别是消除目标转动形成的空变相位误差和ISAR成像结果的方位向定标。本文从工程应用的角度出发,开展研究适合工程实现的转动空变相位误差消除和方位定标技术的工作。本文的主要内容包括:(1)等效匀速转动目标的高精度ISAR成像及定标方法当ISAR距离分辨率较低时,非参数化运动补偿技
网络公共领域被大众化之前,憎恶是由历史中对少数人群的偏见演变而成的,是一种具有“歧视、排斥”性质的。相比而言,当今在网络空间憎恶行为成为一种文化,符合网络互动的特征
随着IC行业和制造工艺的发展,芯片集成度越来越高。现在,数以亿计的晶体管可以被集成在一块芯片上,这大大增加了IC设计的难度和周期,导致IC设计公司投入的资金剧增,而且由于
在当今社会,文化作为一个国家的软实力,其重要性是不言而喻的。然而,什么是文化,或者说怎么给文化下一个规范性定义,却众说纷纭,莫衷一是。由于我们对于“文化”这一概念的指
随着普适计算的不断发展,活动识别引起了人们的广泛关注,在活动识别领域中深度学习模型取得了较好的应用效果,但目前仍有一些制约性的瓶颈问题:传感器数据的不直观性导致模型所提取的深度特征难以理解,因此无法结合传感器数据及其特征提高模型的识别准确率;深度学习模型通常在静态环境下进行批量学习,无法在动态环境中根据新的需求识别新的活动;深度学习模型需要耗费较多的存储和计算资源,不易在终端设备上计算,所以需要对
目前中国特色社会主义进入到新时代,中华民族伟大复兴中国梦的蓝图正在绘制,在这一时期深入研究并贯彻落实习近平全面从严治党思想意义非凡,对外有助于积极应对多变的国际形
长久以来,中国事业单位暴露出越来越多的弊病,政事不分、企事不分、职责不明的现象愈发严重。中国事业单位的分类革新已经是板上钉钉的事情,这一点是毫无疑问的。早在2011年,
精神疾病是一种高发疾病,具有患病率高、复发率高、致残率高等特点。据不完全统计,中国成人精神障碍的终生患病率高达16.6%,对家庭和社会造成了巨大的负担和影响。在众多的精
随机非线性离散时变系统的滤波问题是估计理论中的重要研究课题之一,相关估计方法被应用在军事、交通以及图像处理等众多领域。对非线性离散时变系统的性能进行分析,需明确其