【摘 要】
:
视觉注意力机制能使得人类快速将感知资源优先用于最关键的区域,帮助人类快速分析复杂的场景。显著性预测作为一种模拟人类视觉注意力机制的方式,对构建人机交互及辅助系统有
论文部分内容阅读
视觉注意力机制能使得人类快速将感知资源优先用于最关键的区域,帮助人类快速分析复杂的场景。显著性预测作为一种模拟人类视觉注意力机制的方式,对构建人机交互及辅助系统有着重大意义,尤其是随着虚拟现实技术的兴起,全景图显著性预测凭借其在降低高层视觉任务复杂度、辅助研究人类视觉机制等方面的优势,得到了越来越多的关注。针对全景图显著性预测领域当前存在的显著性数据集规模小以及因全景图扭曲严重导致的显著性预测效果差的问题,本文做了以下两方面的研究:(1)基于现有的全景图显著性数据集规模小这一问题,在全景图显著性预测中,需先利用传统显著性数据集来设计和训练显著性预测模型,再将其应用到全景图数据中。由于深度模型可挖掘图像多个层面的信息,因此,集成深度模型中多个层次的特征可有效提升模型显著性预测的准确性。但不同层次特征间存在着较大的语义差距,且高层次特征感受野不足,针对这些问题,本文提出了一个具有注意力机制和上下文感知能力的显著性预测模型。该模型首先利用可变形注意力模块,有效地将模型有限的感受野集中到关键的区域。然后加入一个具有上下文感知能力的特征金字塔模块,该模块可缩小不同层次特征之间的语义差距,并提取出多层次的具有上下文信息的特征。最后再集成多层次特征得到最终的显著性预测结果。在多个基准数据集上对比了本文提出的模型与其他主流模型,本文的模型在整体指标上有更优的表现。(2)全景图与普通的二维图像相比有较大差异,如全景图在上下两极区域扭曲严重、全景图的视野更广、全景图左右边缘像素在内容上连续等,这些差异使得在传统数据集上训练出来的显著性模型没法直接在全景图像上有较好的表现。为了解决这个问题,本文提出了一个用于全景图显著性预测的新框架。该框架提出了一个多球面旋转映射与反映射方法。这种映射方法使得严重扭曲的图像区域可以有机会出现在扭曲程度较小的赤道附近,从而得到较好的预测,同时也可以较好地解决左右区域不连续的问题。结合第一个工作的模型,经实验验证本文提出的新框架可以有效提升模型在全景图数据上的显著性预测性能,并在公开数据集上的KLD、CC、NSS、AUC指标都超过了其他模型。
其他文献
图像超分辨率通常是指以低分辨率图像为线索,经过推理计算获取边缘清晰、细节合理的高分辨率图像的过程。本文主要对以单幅图像为输入的情况进行研究和改进。由于清晰明确的
水声传感网络采用声波作为主要通信方式,是当今应用较为广泛的水下组网方式。然而由于水声信道具有长和多变的时延、窄带宽、多径效应等问题,水声传感网络的发展面临严峻的挑
癫痫(Epilepsy,EP)是一种常见的以短暂性中枢神经系统功能失常为特征的脑部疾病,具有反复发作和难以预测等特点。癫痫发作不仅严重影响癫痫患者的正常生活,而且给患者的家庭
为满足日益增长的终端设备的接入需求,802.11工作组提出IEEE 802.11ah标准来支持大规模设备的接入。然而,大规模设备同时接入网络,会导致严重的信道冲突。为此,802.11ah在媒
在写作的过程中,错误是很常见的。对写作纠错反馈的研究一直都是二语习得领域的一个重要问题。写作是学生必须掌握的一门技能,同时也是教师在英语教学过程中重要的一部分。在英语教学过程中,写作纠错反馈扮演了非常重要的作用,它也是学生输入的主要方法,也是语言输出的基本保证。书面纠正反馈的效果直接影响学生写作水平的提高,也反映了教师的教学效果。虽然国外关于学生写作纠错反馈的偏好与教师实践进行了大量的研究,但是中
目的:测量并根据右主支气管(RMB)长度,预测支气管封堵器(BB)用于左肺单肺通气(OLV)时的临床效果,为麻醉医师合理选择BB进行肺隔离提供理论依据。方法:选择择期行胸腔镜下右肺叶切除术的患者46例,ASAⅠⅡ级,男女不限,年龄3070岁,BMI 1929kg/m2。根据患者术前胸部CT扫描图像,利用气道多平面重建(MPR)技术测量RMB长度,将RMB长度≤1.5cm的患者纳入A组,将RMB长度
迁移学习自机器学习研究之始就备受关注,其旨在令算法获得如图人类举一反三一般的强泛化能力。领域适应是迁移学习的其中一个分支。给定两个相似性较强但样本分布不同的领域,
近年来,随着网络技术的蓬勃发展,数据以数据流的形式大量产生。对于数据流的研究受到越来越多的学者重视。与此同时,在传统的机器学习分类框架下,每个实例分配一个单独的标签
国家癌症中心发布的最新一期(2019年1月)的癌症统计数据显示,结肠癌(colorectal cancer,CRC)的发病率在女性和男性患者中分别位列第三位和第四位。虽然目前抗肿瘤治疗的发展迅速,手术,化疗,靶向治疗及免疫治疗等治疗手段的综合应用使结肠癌患者的生存期得到延长,但是,总的获益仍然有限,尚不能满足人们对于预后的期待。目前对于肿瘤的研究已经进入基因和分子水平。探索肿瘤发生发展过程中的分子
文字是人类社会信息传承的载体,充斥在人们的日常生活之中,但文字一般依附在图片之上,文本识别与文本检测则是将图片理解成为文字的关键性技术。其中,文本识别与文本检测被广