运动信息引导下的视频显著性检测

来源 :青岛大学 | 被引量 : 0次 | 上传用户:sk01230147
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机视觉处理技术近年来发展迅速,并逐渐在人们的日常工作和生活中发挥重要作用,但计算机处理视频能力的发展速度无法同视频数据快速增加的速度相匹配,这直接导致使用计算机无法及时筛选和处理真正有用的视频数据。因此,预先对视频内容进行筛选,已经成为迫切的实际需要。视频显著性物体检测技术就是实现对视频有用内容预处理的最佳解决方案。视频显著性检测的主要目的是将人眼感兴趣的区域从背景中分割出来,目前基于神经网络的方法多使用双流网络将时空信息进行融合,但其性能受限于时间分支,当物体静止或背景晃动时,单纯使用光流网络很难直接获取靠谱的运动信息。另外显著性领域缺少训练复杂网络的大型数据集,使得推理结果很容易过拟合,最终导致无法达到最优性能。因此,针对上述问题本文提出两个解决方案:1.提出一种基于运动质量感知的视频显著性检测算法,该算法首次提出“运动质量”的概念并使用卷积神经网络对运动质量进行评估,使用此运动质量标签屏蔽掉双流网络中低质量运动信息对最终显著性结果的负面影响。同时,为了节约标记成本,使用半监督的方式监督网络训练。除此之外,本文还提出一种通用的学习方案,使得任何先进模型的性能都能够进一步提高3%的精度。2.提出一种基于多流网络一致性的视频显著性检测算法,该算法设计并使用一种新的三重网络结构来提取预选目标区域的空间、运动、先验特征。其中,先验信息可以有效提高运动估计的准确度,从而提高定位准确率。最后使用多流一致性融合模型对三流分支进行优化,以得到不同特征的最佳融合互补方案。同时,使用循环训练策略来避免网络过度拟合单流分支。对以上两种算法在五个通用数据集上进行实验,结果证明本文方法具有很好的通用性和鲁棒性,并且与当前主流算法进行比较能达到高精度的检测性能。以运动信息作为出发点,可以屏蔽外观分支的背景噪声,不管是评估运动的质量还是弥补光流的不足,都可以最大化的利用运动信息,更好地定位显著物体。
其他文献
目前人脸识别方法无法精准地完成现实中非约束环境下的人脸识别任务,且在新冠病毒肆虐的情况下,人们外出时均需佩戴口罩,导致人脸被大面积遮挡,所以有效地处理这些问题提高识别效率仍是人脸识别系统中的难点,现今基于深度学习的网络模型已成为检测目标和有遮挡人脸识别问题的研究热点。因此本文主要针对基于深度学习的口罩检测和遮挡人脸识别问题对优化网络模型及分析最优损失函数来提高人脸及口罩识别精度展开研究。主要工作及
社区结构是复杂网络的一个重要特性,社区是节点内部连接紧密,外部连接相对稀疏的一组节点集群。社区检测算法对研究复杂网络的内部规律具有非常重要的价值。本文首先对社区检测算法领域中几种较为经典的社区检测算法进行了分析研究。针对基于种子扩展的重叠社区检测算法存在因种子选取欠佳而导致重叠社区检测结果准确度较低的问题,本文提出了一种新的重叠社区检测算法。首先利用提出的新的种子选取策略生成种子集,然后依据社区度
β-Ca3(PO4)2型化合物的独特晶体结构为稀土离子和过渡金属离子的掺杂提供了可能性,已成为近几年发光材料基质的研究热点。本文针对白光LEDs显色指数较低,全光谱照明所需发光材料亟需等问题,以具有β-Ca3(PO4)2型结构的化合物为发光材料基质,通过设计能量传递模型,利用激活离子的共掺杂策略及化学合成策略,采用高温固相反应、溶胶-凝胶法制备了Eu2+/3+,Mn2+离子激活的发光材料,实现单一
随着我国社会经济的不断进步、城镇化率的提高,许多大中型城市都出现了严重的道路交通拥堵、事故频发等交通问题,不断严重的城市交通问题成为制约城市未来发展的重要因素之一。为了有效解决城市中存在的这些交通问题,同时有效推进智慧城市的建设,本文围绕城市区域的交通流量预测问题,对城市的区域划分与交通流量特征提取展开研究,提出了两种基于深度学习的预测模型。并且为了加快预测模型的训练速度,提高模型的准确率,对深度
近年来,以芯片为控制中心的微电子设备逐渐遍布人们的生活,影响着人们生活中的方方面面。我国作为制造大国,微电子领域的发展起步较慢,与发达国家仍有很大差距。因此,微电子领域成为我国科研工作者的重要研究领域。引线键合作为微电子封装的主要封装工艺,一直占据微电子封装的主导地位,为进一步提高引线键合的键合精度,本文对压电超声换能器的关键组成结构进行了仿真分析,通过仿真分析各组成结构的运动特性来探究其对键合精
随着城市化进程的不断加深,城市公共空间内人群的安全管控也愈来愈受到人们的关注。近年来,随着公众安全防护意识的提高,行人流疏散研究已成为当前的研究热点。相比较真人实验,利用行人动力学模型进行仿真研究具有低成本、低风险的优势。本文以微观元胞自动机模型为基础,结合模糊逻辑理论、Logit模型、高斯混合模型建立行人动力学模型,为行人疏散提供有效建议,主要内容概括如下:首先,建立基于模糊逻辑理论的元胞自动机
中医药是数千年来无数先辈智慧的结晶,从古至今一直发挥着积极且无可替代的作用。尤其在现如今新冠肺炎疫情肆虐期间,中医药表现亮眼,“清肺排毒汤”治疗新冠肺炎确有奇效,证明了中医药的实用性尤其是在保健和疾病预防方面的重要影响力。但是中医药的博大精深和种类庞杂恰恰导致患者无法做出准确判断,因此无法对症下药。因此,构建中医药知识图谱,并基于该知识图谱将中医领域知识引入中药推荐任务,可以更好地建模症状、中药之
基因调控是生物体中控制基因生长发育的重要调控机制,控制生命体细胞的生长发育及衰老等过程。基于基因调控表达数据,围绕人体重要抑癌基因p53构建基因调控网络,构建卷积神经网络模型预测p53相关基因的调控关系,生物学中的高通量基因表达数据与深度学习的结合对深入研究基因调控具有重要意义。本文运用p53靶基因数据构建模型,采用拟南芥表达数据进行验证,提出了一种卷积神经网络与全连接网络相结合的深度学习模型预测
随着遥感技术的兴起,海岸线变化监测工作已从传统的实地勘测、GPS定点连线绘制海岸线发展,到了现在的基于遥感影像的人机交互自动提取,海岸线的提取效率和精度得到了很大的提高。目前,基于高分遥感影像的小范围单一类型海岸线的提取研究已经得到了深入的发展,不同类型的海岸线都有相应的的提取方法。然而,如何选取分辨率合适的遥感影像对大面积、复杂度高的海岸线进行精确提取尚未有明确的研究。本文提出了一套完整的基于长
情感分析作为NLP领域的子任务,通过文本内容计算出对应的情感极性,已在社交平台、电商平台及舆情分析多个领域得到应用。传统的情感分析中只对于文本进行整体分析,给出单一的情感倾向,而对于评论文本中出现多个不同的评价方面且对应的情感倾向不统一时,其所达到的效果已经不能满足人们当今个性化需求。而细粒度情感分析是有针对性的对文本中出现的细粒度级别的方面进行情感倾向的判断,更加全面的反映评论文本的潜在信息,为