基于深度学习的图像自动标注方法研究

来源 :华侨大学 | 被引量 : 0次 | 上传用户:lvshuijing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,图像自动标注成了当下机器学习最热门的研究方向之一。图像自动标注技术能够将互联网上海量的图像信息转换为文本信息,方便进行图像检索、图像分类等应用。现在主流的图像自动标注模型大部分都采用深度学习网络构建而成,这些模型基于编码器—解码器框架,在编码器阶段利用卷积神经网络提出图像特征,在解码器阶段利用循环神经网络对图像的特征进行解码并且生成对图像的描述语句。本文将分别从编码器和解码器两个部分对其进行研究改进。首先,本文在编码器部分进行改进,提出了将卷积网络和SIFT特征进行融合的网络模型,结合了卷积网络强大的特征提取能力以及SIFT特征对于图像的旋转、大小比例缩放、明暗度的变化保持不变性的特性,使得模型具有更加强大的图像特征提取能力。本文提出的特征融合网络模型的关键在于将卷积网络提取特征和SIFT特征在模型中进行动态融合,随着网络的训练学习,两部分特征也能够进行更好地融合适应。本文在公开数据集上和现存有代表性的模型进行了对比实验,证明了本文提出模型的有效性。接着,本文在解码器部分进行了研究改进,将几种常见的注意力模型分别加入到解码器部分进行对比实验。已有相关研究在解码器中加入注意力模型,本文在此基础之上,首先探究了注意力机制和图像自动标注模型结合的原理,以及如何将不同的注意力模型,如自注意力模型和多头注意力模型和图像自动标注模型结合。本文同样在公开数据集上进行了对比实验,再次验证了本文提出的模型的有效性。并且,本文从实际应用的角度出发,利用本文提出的模型对网络上搜集到的自组图像数据集进行了自动标注,将标注结果用于图像检索实验,展示了基于本文提出的图像自动标注模型的图像检索效果。
其他文献
本文主要简述了BODIPY/aza-BODIPY荧光染料的设计合成方法以及在光动力疗法和光热疗法方面的应用,还合成了含-NMe2基团的非对称aza-BODIPYs染料和带有-CH2-X-(X=CH2,O,S)链的亚稠环扭曲的无卤素aza-BODIPYs染料及其性能研究。本文第二章通过4’-二甲氨基苯乙酮成功制备了一系列带有二甲氨基的非对称aza-BODIPYs。X射线晶体学分析证实了CF3-BDP
学位
随着法治政府的建设,公众参与的原则深入到环境保护、城乡规划等各个领域,相关的规范性文件层出不求,可以说是一个令人可喜的进步。但是,公众参与制度在实际运作过程中,效果并不理想,不仅公众参与的规范目标难以完成,参与对象的结构、代表性也有诸多不足之处,最后使得公众参与成为政府乃至其职能部门获致表面上的合法性的“走过场”制度,公众参与制度有被架空之虞。目前学界对公众参与制度的关注多侧重于“参与”,然而,事
学位
研究背景皮肤创面愈合涉及多种组织和细胞之间动态且协调有序的相互作用。在这些过程中,创面再上皮化和创面收缩是决定愈合效果的两个关键因素。表皮干细胞(Epidermal stem cells,EpSCs)是皮肤特异性干细胞,更新能力极强,是维持皮肤自我更新、参与损伤修复的关键细胞。在正常生理条件下,EpSCs锚定于干细胞巢等细胞微环境中,通过自我更新及分化来维持皮肤的新陈代谢。当创伤发生后,皮肤残存的
学位
双酰肼类化合物结构特殊,富含氮元素,因此具有一定的生物活性,并在许多领域应用广泛,可以作为昆虫生长剂、除草剂等农药产品的重要中间体,可以用来合成酶抑制剂,抗肿瘤、抗惊厥、消炎、抗疟等多种药物,也可以应用于电致发光系统、液晶和生物医学设备等工业产品上,更是杂环合成中的重要前体之一。其中N-异辛基-N′-氰乙酰肼是多种染料的关键中间体,优化其合成条件具有重要的工业价值。目前,不对称双酰肼的主要合成方法
学位
等离激元分子(PMs)类似于原子与分子系统,通过在人工设计组装的结构里不同的表面等离激元模式之间通过强耦合作用的情况下所形成具有共有化行为的纳米结构。在之前的研究中,传统贵金属材料(比如金与银)通过设计处理成各个形状的颗粒(如圆球、圆环、圆盘和三角形等)通过规则排列被广泛构成不同的等离激元分子结构。并且,在此结构下所计算的消光光谱中,两种相位相反的模式(即亮模式与暗模式)在共振频率范围内进行重叠,
学位
伴随着互联网技术的不断革新和5G时代的到来,人们越来越倾向在网络上浏览商品和购买各种生活用品,同时发表自己对各种商品的看法和使用感受。这些评论中含有用户丰富的主观性看法,可以分析评论后提取到用户的情感倾向,从而对商品做出有效的改进。目前电商评论文本情感分析还存在词向量情感表达不准确,评价对象没有抽取导致的情感分析力度粗等问题,本文的主要工作如下:(1)针对Skip-Gram模型生成的词向量不能区分
学位
在现代光信息的研究中,光学微谐振腔占据着重要的地位。近年来,回音壁模式(whispering-gallery-mode,WGM)光学微谐振腔以其高品质因子和小模体积的特性,成为光学研究中的热门对象。在以往的WGM微腔耦合激发系统中,锥形光纤耦合的方式以其高效率被广泛应用,然而锥形光纤耦合系统稳定性差,且锥形光纤本身结构脆弱,耦合时极易受到外界环境的干扰,限制了WGM微腔的实用化。微结构光纤是一种二
学位
近年来,基于微纳米光纤的光学传感器因其高灵敏度、快速响应和小尺寸等优点得到研究者的广泛关注。基于微纳光纤的各类型光学传感器因器件结构及微纳光纤结构参数不同,而存在较大差异。本文搭建双锥微光纤浓度传感和螺旋微光纤温度传感实验平台,系统分析微光纤结构参数对两种传感器的响应曲线的影响;应用反向传播神经网络网络算法(Backpropagation neural network,BPNN)预测了结构参数不同
学位
随着互联网承载的信息量爆炸式增长,用户对信息推荐的个性化需求变得越来越大。个性化信息推荐的出现,能够有效地帮助用户获取准确的信息。然而,传统协同过滤推荐方法在挖掘用户及项目信息方面依然存在数据稀疏和过载问题,这些都限制了推荐结果的精准性。利用知识图谱中丰富的语义关系的优势可以为基于人物的个性化信息推荐设计提供更有效的途径,并逐渐成为学者们研究的重点。本文主要研究基于知识图谱的个性化信息推荐,重点研
学位
锂离子电池(lithium battery)凭借体积小、高比能量等优秀的性能表现及可靠的安全性已经成为当前应用最广泛的电能存储单元。与此同时,随着生产工艺的不断发展,对锂电池的品质要求也越来越高。然而在流水线生产过程中,由于工艺缺陷、物体碰撞或挤压造成的电池外观缺陷往往很难避免。当前企业的解决方案多为安排专门的质检员按照缺陷类别进行分拣。该方法不但人力成本高,且分类结果受主观性影响大,不利于根据分
学位