带排序的视频显著性对象检测

来源 :天津大学 | 被引量 : 0次 | 上传用户:shui__hen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频显著性对象检测,旨在找出视频每一帧中吸引人视觉注意的对象。由于其广泛的应用场景,近几年吸引了越来越多的研究兴趣。然而,在当前的视频显著性领域,对“视频显著性对象”的定义一直存在一些争议。在大多数先前的工作中,都使用的是视频对象分割或运动追踪数据集作为标准,直接将单一的前景对象或运动中的对象看作是显著对象,这并不符合我们人眼视觉机制的判断规则。即便后来出现了专门针对于显著性领域的数据集,但它的标注方法也是标注人员将视频拆分成静态帧去标注的,忽略了其中重要的时序信息。并且,目前为止所有的视频显著性工作都仅仅区分了显著或非显著,这对于拥有了时序信息的视频而言,并不能充分体现其中的显著信息。基于以上问题,本文做出了以下三个方面的工作:(1)首先,本文在视频显著性领域提出一个全新的概念—带排序的视频显著性对象,用每一帧中各个对象上着落的眼动注视点的个数的相对比例去决定视频中的显著对象的显著等级。在这种概念下,多个物体在同一帧中的显著性将有所区别,同一物体在视频不同帧中的显著程度将不再一成不变,而是会根据上下文信息发生变化。这样做可以更加全面、科学的体现视频中的显著信息。在以上概念的基础上,本文标注了一个规模庞大的具有带排序显著性对象标注的数据集—RVSOD,用不同的灰度值反映对象的不同的显著等级,为本文新提出的定义提供标准。(2)基于RVSOD这一数据集,本文先后提出两个基于深度学习的视频显著性算法。第一个算法是基于时空特征提取的传统显著性对象提取算法,利用多尺度特征提取模块和双向卷积长短时记忆模块来提取视频中的显著信息。第二个算法,本文提出了一个双分支的多任务网络,加入眼动注视点来辅助进行带排序的视频显著性对象的检测。(3)本文对于传统视频显著性对象提取的方法在多个标准数据集上都获得了较好的结果,并且希望本文所提出的带排序的视频显著性对象的检测方法可以作为一个基线,在视频显著性对象领域中引出一个概念上全新的研究。
其他文献
社会关系的研究在社会学领域中一直是一个重要的话题。随着互联网技术与社会媒体平台的蓬勃发展,越来越多的人活跃在社会媒体中。这为社会关系的研究提供了一个新的途径。人们在社会媒体中的交互是现实社交在网络上的映射,这为通过社会媒体研究社会关系提供了可靠性。并且,海量社会媒体数据也为社会关系的研究带来了极大的便利。本文旨在通过社会媒体数据进行多元化社会关系画像。多元化主要体现在数据的多元化和方法的多元化。数
移动边缘计算是指在移动网络边缘部署存储和计算资源,为移动网络供应云计算能力和IT服务环境,从而为移动用户提出高带宽和超低时延的网络服务解决方案。计算卸载在移动边缘计算中是一项关键技术,可以为资源受限设备运行计算密集型应用提供计算资源,加快计算速度,节省能源。移动边缘计算中的计算卸载是将移动用户终端的计算密集型任务卸载到边缘环境中,弥补了终端设备在计算性能、资源存储以及能效等方面存在的不足。移动用户
云计算由于其强大的计算和存储能力得到了广泛关注,但是远距离传输带来的高延迟对用户体验产生了不利影响,本文通过引入移动边缘计算技术,利用边缘节点天然的地理位置优势,将一个区域内的闲置计算资源整合成一个分布式边缘计算平台,使其提供快速,高效的即时响应。为了解决分布环境中的用户身份安全问题,本文引入区块链技术实现用户之间的可信交易。面对共识过程中产生的“冷启动”和“长期回报”,本文引入银行借贷机制,解决
知识图谱是由实体和关系组成的有向图,图中的节点表示现实世界中的各种事物实体,图中的边表示这些事物实体之间的相互关系。但是知识图谱通常都是不完全的,会有大量的关系缺失,通过人工的方式补全这些缺失的关系,需要消耗大量的人力和时间。因此,知识表示学习被提出来,通过将实体嵌入到连续的低维向量空间中,进而实现知识图谱的自动补全。现在已有很多知识嵌入方法,一般将其分为两大类,第一类是以Trans E为开端的基
近几年,我国公共建筑领域的发展趋势是公共建筑的档次越来越高,功能越来越复杂,高能耗建筑占新建建筑的比例越来越高。作为建筑能耗占比最大的一部分,公共建筑暖通空调系统在实际运行过程中缺乏有效的调节手段。目前对于公共建筑节能诊断的研究主要从两个角度考虑,分别基于专家知识和基于数据挖掘来进行,但多数研究工作仅从一个角度考虑,将节能诊断工作进行非常细致地推进,但这样往往会造成测试工作量过大或诊断方法过于复杂
城市交通系统作为城市系统的重要组成部分,在城市风险研究中不可或缺。城市风险的防范与监测需要将城市交通出行特征纳入考量范围。对于交通出行轨迹数据进行挖掘,可以发现城市居民的移动规律与城市系统空间的交互特征,进而刻画出整个城市的交通出行画像。本文以描绘城市交通出行画像为出发点,研究如何高效地挖掘出行轨迹数据,探索这些行驶轨迹形成的原因,开展了以下工作:首先,提出了基于频繁模式挖掘的城市交通出行画像方法
古代壁画是是中国古典艺术的宝库,是中国历史和文化的见证,是我国宝贵的历史文化遗产,其历史研究价值更是无法估量。然而在外界环境及人为内在因素的影响下,大部分壁画如敦煌莫高窟、西千佛洞等壁画群均出现不同程度的裂缝、脱落、酥碱、霉变等多种形式的病害。为了长久地保护这些珍宝,修复壁画中的破损部分精准还原壁画内容,是一项亟需研究且具有重大意义的内容。与传统手工技术相比,数字化技术的出现给古建筑壁画修复带来了
深度估计一直是机器视觉领域中重要的研究课题。早期的深度估计是基于场景中的几何约束信息从而得到深度信息。后来出现了单目深度估计算法。近年来随着人工智能技术的高速发展,深度学习方向炙手可热,基于深度学习的深度估计算法发展迅猛使得深度估计有了更广泛的应用,比如:实地测距,机器人导航,自动驾驶等等。但现在大部分深度估计算法主要用于室外场景,而室内场景下的深度估计,由于该类场景没有显著的全局或局部特征,场景
为了解决传统互联网暴露出的IP地址不足、安全性差等问题,一种以内容为中心的新型网络架构命名数据网应运而生。命名数据网通过内置内容存储池,提供了网内缓存功能,实现了数据的高效分发与共享。然而,频繁的数据检索和海量的数据存储给内容存储池的设计与部署带来了巨大挑战。为此,本论文针对命名数据网转发平面内容存储池的存储结构及其数据检索算法展开研究,设计了高性能、可部署的内容存储池。本论文的主要工作和创新点总
信息时代,大数据中含有许多有用的知识,值得人们深入探索、挖掘、研究、分析.随着信息爆炸,数据量暴增,知识图谱在垂直搜索、NLP、社会网络、语义WEB、智能问答、生物信息学医学等领域有着越来越重要且广泛的应用.知识图谱推理算法是根据知识图谱中现存的知识,通过计算推理,得到新的知识的过程,是当前知识图谱的热门课题.对于大量的知识图谱推理问题,现有的张量分解知识图谱算法仅考虑数据的单一特征,对知识图谱的