图模型融合时空特征的视觉显著性目标检测算法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:anlongdy123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉显著性目标检测是计算机视觉领域的热门研究方向,其任务目标是通过模拟人类视觉注意力机制建立启发式或学习模型,定位视觉场景中的显著性目标并将其从背景中完整一致地高亮出来。相比于图像的显著性目标检测,视频的显著性目标检测任务是更具有挑战性的,这是由于视频具有更加复杂的非限定动态视觉场景,如运动背景、相机抖动、小目标、目标形变、目标遮挡、低前景背景对比度等。在这些复杂的动态视觉场景中,现有相关检测模型仍然受困于复杂运动背景干扰、显著性目标图连续一致性差、显著性目标图边缘模糊粗糙等问题,还不能很好地完成复杂视觉场景中的显著性目标检测任务。通过挖掘时空上下文信息来实现时空特征的有效提取及互补融合是提升显著性目标检测性能的关键。图模型方法因其在上下文关系建模方面的有效性而被广泛研究。然而,在面对复杂动态视觉场景时,稳健的视频显著性目标检测模型的构建仍然存在许多挑战:一是在面对具有复杂运动背景的场景时,如何建立鲁棒的时空显著性特征,并设计图模型融合方法实现多种特征的优势互补,进而有效地滤除无关复杂运动背景的干扰;二是在面对具有低前景背景对比度、目标形变、运动模糊等复杂场景时,如何挖掘图节点间的时空约束信息,并改进现有图模型融合时空特征理论,实现空间和时间显著性信息的优势互补,进而提升显著性目标图的连续一致性;三是在有足够的训练样本数据时,如何设计有监督的深度图学习方法来挖掘和聚合时空图结构数据中重要的显著性信息,进而提升保留显著性目标精细边缘的能力。针对上述挑战,本文在图模型理论框架下研究时空特征建模和融合方法,从不同的问题角度展开对视频显著性目标检测算法的研究。具体地,本文的主要研究内容分为以下三个方面:首先,针对复杂运动背景干扰的抑制问题,本文从时空显著性特征抽取和融合的角度出发,提出了一种基于运动能量和时空似物性的图聚类视觉显著性目标检测方法:首先提出了一种新型运动能量特征建模方法,其通过挖掘运动幅值、运动方向、梯度流场和单帧图像空间梯度等信息来提升对显著性目标内部区域的表达能力;还提出了一种时空似物性图特征生成方法,其通过挖掘当前帧的似物性采样框与前一帧似物性采样框及其显著目标图之间的关系,生成一个比空间似物性图更加紧凑的目标待检测区域;最终利用图聚类的方法融合以上两种特征来降低复杂运动背景的干扰。通过详细的实验分析工作,验证了本文所提方法在抑制复杂运动背景干扰方面的有效性,能有效应对具有复杂运动背景的视觉场景。其次,针对显著性目标图的连续一致性提升问题,本文从超像素节点间时空约束信息挖掘和流形正则框架下多图模型时空特征融合的角度出发,提出了一种基于鲁棒种子抽取和多图模型时空传播的视觉显著性目标检测方法:先利用图聚类方法生成可靠的显著性种子,依据显著性种子建模区域一致性约束并重构时空图节点间的连接关系,引入图像簇分割的先验信息来优化图边权值;再构建出多图模型流形正则框架,以显著性种子为查询节点,在时空图结构数据中传播显著性信息以实现时空特征的融合互补,提升显著性目标图的连续一致性。通过详细的实验分析工作,验证了本文所提方法在增强显著性目标图连续一致性方面的有效性,能有效应对具有低前景背景对比度、目标形变、运动模糊等的复杂场景。最后,针对显著性目标精细边缘的保留问题,本文在深度图卷积神经网络框架下,从图节点的显著性信息挖掘和聚合的角度出发,提出了一种基于深度图卷积和注意力感知的视觉显著性目标检测方法:首先设计了一个多流深度图卷积学习架构,通过引入注意力模块来自适应地选择图节点并融合编码时空显著性信息;还提出了一种新颖的边门图卷积操作,其通过显式地挖掘图节点之间的关系以学习区分不同节点的重要程度,并从邻近节点聚合不同的显著性信息,增强图节点的嵌入特征表达能力,提升视频显著性目标检测的性能。通过详细的实验分析工作,验证了本文所提方法在学习聚合图结构数据中重要显著性信息方面的有效性,使模型兼具有精细的显著性目标边缘保留能力和强大的学习能力。在上述研究中,本文针对复杂场景下视频显著性目标检测任务存在的挑战,从不同的问题角度进行了深入地探究,为提升视频显著性目标检测性能提供了切实可行和有效的解决方案。结果表明:在面对具有复杂运动背景的视觉场景时,通过挖掘时空上下文信息构建的运动能量特征和时空似物性图特征,以及图聚类融合特征方法能够有效抑制复杂运动背景的干扰;在面对具有低前景背景对比度、目标形变、运动模糊等复杂场景时,通过挖掘超像素节点间时空约束信息和在流形正则框架下的多图模型时空特征融合够提升显著性目标图的连续一致性;在具有训练样本数据时,通过设计有监督深度图学习的方法能够有效地挖掘和聚合时空图结构数据中重要的显著性信息,使模型具有保留显著性目标精细边缘的能力。
其他文献
环境监管失职罪是我国独有的专门针对行政机关正确履行生态文明建设职能,完善环境保护机制而设立的罪名,具有环境犯罪及渎职犯罪双重属性。本文以“福建省三明市林某某、郑某某环境监管失职罪案”“湖北省某县姜某某环境监管失职罪再审裁定案”及“H省Y市姚某秋、贺某泉环境监管失职罪再审裁定案”为主线,总结并围绕三个争议焦点进行法理分析。找出司法实践过程中对该罪名适用所遇到的问题,结合当今时代发展主旋律提出相关建议
近年来,我国的经济高速发展,但同时也带来了许多的环境问题。环境侵权是一种特殊的侵权类型,既有和一般侵权规定一致的地方,也有自己独特的地方。分配好数个环境污染者的侵权责任不仅能够弥补受害人的损失,使受害人与与加害人之间的利益能更好得以平衡,有利于经济的发展和社会的可持续发展,有利于社会秩序的和谐与稳定。通常,环境污染的发生是由数个污染者导致的,由于环境污染案件的持续性、广泛性等特点,想要查明导致受害
伴随旅游规模的不断扩大,旅游方式的日益成熟,游客在旅游目的地不再满足于简单地走马观花式游览,转而向往更深层次的体验,在这一旅游诉求下,餐馆成为了游客探秘异域风情、体验异域文化的场所。从某种意义上说,餐饮本身对“地方文化”和“地方身份”的表征也使其具有可以被景观化的特质。因此,本文在旅游凝视角度下,在剥离了餐饮对生理需求满足的属性后,尝试理解游客餐饮景观的需求类型,并对旅游凝视下的餐饮景观情感属性做
清代,川盐占据贵州大部分盐业市场。川黔綦边古盐道是川盐入黔的四条运盐古道之一。綦边古盐道将自贡的井盐沿长江运至今天的重庆市綦江县后,再溯綦江而上,一直到达贵州北部、中部和南部等地区。有将近四分之一的贵州人口,所食之盐由綦边古盐道所运。盐道是食盐运输的载体,盐商是食盐销售的中介,这是綦边古盐道川盐运销过程中的重要内容。在这种背景下,綦边古盐道沿线地区社会政治、经济、文化和民族交流融合都得到了很好的发
基覆型堆积体边坡广泛分布于我国西南地区,此类型边坡的安全储备偏低,在地震下影响下易受到扰动。而西南地区除了微震频发,降雨也十分充沛,雨后边坡更易在地震作用下发生失稳。因此准确认识此类边坡在地震作用下的失稳特征和失稳机理,对相关的边坡工程设计、滑坡监测和预测具有重要意义。本文以课题组团队的室内模型试验研究结果为基础,利用FLAC3D软件研究了基覆型边坡在地震作用下的动力响应规律、失稳特征、失稳机理和
随着人类对深空探索的需求逐渐增强,采用移动式机器人登陆外星球成为了必不可少的步骤。当前月球车、火星车等外星球登陆设备均为轮式机器人,在面对沟壑、断裂以及狭窄等地形时无法胜任。仿生四足机器人兼具灵活性与稳定性,不仅可应用于外星球探索,在极端环境下的科研考察与紧急救援等多种场所均具有广阔的应用前景。在机器人进行外星球探索过程中,除了需要具备应用于地球上的传统机器人的各种性能外,由于行星表面非规则地形、
未来,电动汽车将成为全球车企满足严格油耗和排放法规的主流车型。车载充电机(On-Board Charger,OBC)可以方便的为车载电池充电,但也增加了车载变换器的体积和重量。将电动汽车的电驱动系统复用为OBC是满足重量、空间和成本要求的一种方法,集成电机驱动器、OBC和高压Boost变换器等已成为发展趋势。在车载变换器中使用碳化硅(Silicon Carbide,SiC)器件可进一步提高系统效率
生物沼气是一种由生物质厌氧发酵所产生的清洁能源,在发电、供热、天然气替代及车载燃气使用中都表现出了较好的应用前景。但是,CO2的存在不仅会降低沼气的热值,还会腐蚀运输与储存设备。因此,采用分离技术实现对生物沼气中CO2的捕获及CH4的提纯,不仅有利于生物沼气与天然气及车载燃气的互通互用,同时对CO2的资源化利用也有重要意义。与传统的分离技术相比,膜技术在成本、能效和环境影响方面都具有潜在的优势。然
氧还原反应(oxygen reduction reaction,ORR)是质子交换膜燃料电池和锌空气电池等能源转换器件的核心反应。目前,其迟缓的动力学过程严重阻碍了这些能源转换装置的大规模商业化应用。因此,迫切需要高效且稳定的电催化剂来加速这一过程。尽管铂等贵金属基催化剂表现出高催化活性,但仍受限于其高成本以及稀缺性。从长远看,开发具有高活性、低成本的非贵金属催化剂成为解决上述问题的关键。但目前,
语句意图匹配方法是自动问答和信息检索等系统的核心技术,主要用于判断两个语句中的语义意图匹配程度,在实际应用中具有重要价值。近几年随着深度学习的兴起,相关方面研究获得了突破性进展。尽管深度学习方法在语句意图匹配中得到广泛应用,其仍然面临以下挑战:1)训练样本不足的问题,很多实际应用领域难以提供足够的训练样本;2)由于语句表达的灵活多变,模型对语句中意图信息的有效编码受到一定限制;3)词语语义的多义性