基于层级化交互型网络的图文检索算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:huangkb009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的快速发展,人们在网络平台发布文字和图像作品的现象变得越来越普遍。面对日益增长的图文数据,设计高效的图文检索方法,帮助用户更精确,便捷地搜索到有价值的内容具有重要的意义。近年来,得益于深度学习技术的迅猛发展,多模态的图文检索逐渐成为研究的热点。但在多模态环境下,文本与图像存在巨大的语义鸿沟,简单将文本与图像映射到同一空间计算相似度的方法(表示型方法)并不能取得良好的效果。因此,如何提取和关联不同粒度的图文信息,进一步减少图像与文本间的语义鸿沟,成为了图文检索中极具挑战性的任务。本文在采用文本词汇特征与图像实体候选框特征匹配的方法(交互型方法)基础上,引入层级化结构和抑制冗余匹配机制对交互型方法进行改进。主要的贡献如下:1)提出了层级化交互型网络(HIN),该网络包括语义信息的层级化结构和注意力的层级化结构。语义信息的层级化指在利用文本和图像的一元信息匹配形成的特征交互矩阵的同时,还进一步利用文本和图像的多元信息,使得图文匹配过程的语义信息更加丰富。注意力的层级化是指在文本词汇级别(图像实体候选框级别)和文本句子级别(图像级别)分别引入注意力机制,使得图文匹配过程提取的关键信息更加准确。2)提出两种抑制冗余匹配的提升机制,包括候选框门控(Proposal Gate)以及中心注意力(Central Attention)。交互型方法利用图文细粒度特征进行逐一匹配减少了语义信息损失的可能,但也容易形成冗余匹配。候选框门控利用可训练的门控阈值抑制一些与文本无关的冗余图像实体候选框。中心注意力则是预测图像实体候选框最佳的文本匹配位置,然后以该位置为中心抑制周边的冗余词汇。3)最后,通过一系列实验,验证所提出模型在Flickr30K、MSCOCO数据集上均取得更好的图文检索结果。
其他文献
【摘要】中职学校《网上开店实务》兼具理论性与实践性,对培养学生的创业实践能力,提升学生综合职业技能都有较强的促进作用。然而,目前《网上开店实务》的教学模式普遍以教师为主导,忽略了学生的主体作用,导致教学效果甚微,难以达成教学目标。因此,为有效弥补传统教学方法的弊端,提高教学质量,本文就如何在中职学校《网上开店实务》课程中应用案例教学法进行探讨与思考,希望能够为一线教师提供一定的操作指导和建议。  
由于错位dsRNA的毒副作用得到降低,因此是一类很有潜力的抗病毒、抗肿瘤物质.研究中利用家兔实验评价了Poly I:C和Poly I:C12U引起的热原反应.在10mg/ml、1mg/ml、0 05mg/ml
对原有纹理粗糙度算法在选取邻域尺寸和计算邻域均值差值这两方面进行了改进,并给出了改进纹理粗糙度算法.实验表明,改进纹理粗糙度具有更强的纹理分辨能力和更好的旋转不变
【摘要】在整个小学阶段的教学和学习中,小学语文占据重要的地位。为了能使学生在这种长时间的,持久的语文学习中,对语文知识产生兴趣,教师就要努力为学生营造良好的课堂教学氛围。本文以小学语文课堂教學氛围消沉、死板的原因为基础,来尝试怎样提高小学语文课堂教学的氛围。  【关键词】小学生 语文教学 课堂气氛  【中图分类号】G623.2 【文献标识码】A 【文章编号】2095-3089(2016)29-01
【摘要】新课程改革之后,高中化学教材也出现了新的改变,增加了更多分子模型图、实验仪器图以及原子离子结构示意图等,形象的插图增加了教材的趣味性,同时也激发了学生的学习兴趣。新教材的改变充分体现了新课程的思想,而专业化学软件在新教材的开展中发挥着重要的作用。专业化学软件在化学教学中的应用可以使平面教学更加立体化、形象化,有助于提升学生的学习兴趣,培养学生的化学思维。本文主要分析了化学软件在高中化学教学
为了改进主动轮廓线模型求解过程中轮廓线初始位置的敏感性,通常要采用一些方法扩大图像力的作用域。但是,这些方法往往需要根据具体场合来设计,没有比较好的普适性,而且在扩大作用域的过程中不能很好地控制作用域的大小。文章提出一种作用域扩展函数,既能方便地应用于各种需要扩展图像力作用域的场合,还能够控制图像力的作用范围。
目的比较舒血宁与维脑路通治疗脑血管病后遗症的疗效。方法80例脑血管疾病后慢性脑功能障碍病人随机分为两组,40例为治疗组,予舒血宁6ml;40例为对照组,予维脑路通1.0g;分别加入5%葡
提出了一种基于纹理信息和遗传神经网络的图像分割方法。根据分形理论构造了图像的一组分形纹理特征参量,利用遗传神经网络作为图像像素的分类器,以此为基础对图像进行分割。分数维的计算采用改进的盒子计数法。试验表明,将该方法应用于生物医学图像,能够区分图像不同的纹理区域,达到满意的分割效果。
分析了基于Web的集装箱船舶箱位管理系统的特点和功能,介绍了该系统的总体框架和实现技术等内容,并对其中的船舶实配过程遗传优化算法进行了重点介绍.