【摘 要】
:
随着现代信息技术的跨越式发展,人们的生活方式逐渐向数字化、网络化、智能化进行转变,用户通过手机、平板、电脑等设备在互联网上传播大量图片,使得图像成为线上信息流通的
论文部分内容阅读
随着现代信息技术的跨越式发展,人们的生活方式逐渐向数字化、网络化、智能化进行转变,用户通过手机、平板、电脑等设备在互联网上传播大量图片,使得图像成为线上信息流通的重要载体。这些图片包含大量自然场景中的图像,面对这些宝贵的图像数据资源,人们希望计算机能够自动分析并理解自然场景下的图像,对其进行有意义的刻画与描述。针对自然场景下的图像语义描述在智能化标注、人机交互、助残服务以及教育领域都具有广阔的应用需求,现如今逐渐成为国内外众多学者和科研机构共同致力的一个研究热点。图像语义描述的本质是让计算机能够对给定图像中的物体进行准确的检测与识别,结合场景信息对图片内容进行理解,最终给出人类能够理解的语言描述。相较于图像分类、图像检测、图像分割等领域,图像语义描述涉及到图像处理与语言建模,因此需要将计算机视觉与自然语言处理两大领域有机统一起来。本文主要工作包含以下内容:本文从机器翻译领域引入“编码器-解码器”框架,构造一个端到端的图像语义描述模型,利用编码器完成特征提取任务,同时利用解码器完成语句描述任务。由于近年来卷积神经网络在图像处理的特征提取能力已得到验证,因此本文设计并构造了一种精细的卷积神经网络模块,使得编码器能够从图像提取出表达能力强的视觉特征。在此基础上引入带注意力机制的基于长短时记忆模型的解码器,使得图像语义描述模型能够有选择地关注特定区域并生成对应单词。基于深度模型的“编码器-解码器”图像语义描述模型能够较好地完成给定任务,然而深度模型普遍具有庞大的规模,其高昂的时间复杂度和空间复杂度制约其在更广阔领域的实施与应用。本文针对“编码器-解码器”的基础组成部分,研究了一种基于网络剪枝与张量分解的混合优化方法,旨在从时间与空间两个维度降低模型的复杂度。首先采用数据驱动的全局监督迭代方法对卷积层进行张量分解,然后根据本文提出的重要度评价标准对卷积核和神经元进行排序,最后将相对不重要的卷积核或神经元从网络剪枝。最后,本文在MS COCO、Flickr 30k等公开数据集对所提出方法进行了评测,实验结果表明上述方法能够快速、准确地对给定图像进行理解,并且能给出符合人类习惯且具有逻辑的语句描述,与同类方法之间的对比分析也证明了本文提出方法的有效性。针对本文模型进行了优化实验分析,实验结果表明所研究方法能够有效降低深度模型的时间复杂度和空间复杂度。
其他文献
钢管-焊接空心球节点(简称“管-球”节点)作为空间网架结构中常用的悬挂吊车吊点形式之一,由于其制作工艺的限制,在节点焊缝处不可避免的产生焊接残余应力。在悬挂吊车循环荷载和焊接应力耦合作用下,节点焊缝焊趾处易形成疲劳破坏,故对节点焊接残余应力研究非常必要。本文在国家自然科学基金项目(51708384)、山西省留学人员科技活动择优资助项目(DC1900000602)以及山西省基础研究青年基金项目(20
随着深度学习的不断发展,超分辨率重建领域也出现越来越多的成果。虽然现在超分辨率重建算法都能取得比较好的重建效果,但是仍然存在一些不足,需要进行改进。为了解决现有算
叶面积指数(LAI)是反映森林生长过程、生存环境的重要植被参量,它能够直接量化出林地的生长状况和冠层结构。森林生态过程与LAI有着密切联系,森林生态系统中的生物和物理过程
膜计算是自然计算的新分支,是一个受生物细胞膜特性和功能启发从而抽象出计算模型和方法的研究领域,包含的研究方向有膜计算模型理论研究、膜计算模型应用研究、膜计算模型实
近年来,随着微电子及半导体产业的不断发展,微机电系统(Micro-ElectroMechanical Systems,MEMS)已经被越来越多地运用于日常生活中。MEMS技术具有低成本,高性能,微型化,集成
音频分类(audio classification)是计算机听觉相关研究的主要方向之一,需要根据声音的内在特点对不同声源进行分类。随着深度学习在各领域的出色表现,有研究者尝试使用卷积神
在环境问题突出的当今社会,生态设计理念在设计行业的应用已经发展到了一定阶段,其中以地域性生态设计是未来发展的潜在方向。在国家大力发展环保事业的大背景之下,结合中国
新《证券法》在实施注册制、信息披露、投资者保护以及违法成本上升等方面进行了增改,为其适用提供了法律依据,但在保荐人先行赔付制度的运行模式、具体赔付标准、存在法律风
高温热解煤气的高效除尘对热解系统的稳定运行起着至关重要的作用,但是热解煤气中的气相焦油在除尘系统的热流场中还会继续发生二次反应生成积碳,气相焦油组成、热流场条件、夹带粉尘对高温除尘系统的稳定运行和气相焦油的二次反应及积碳有着显著的影响。本文选取了一种格金收率较高的长焰煤,利用自行设计搭建的小型流化床热解反应装置,分别考察了热解温度、挥发分反应温度对气相焦油二次反应及积碳的影响规律,探讨了流化床高温
溪流是连接森林与水体生物地球化学联系的纽带,研究森林-溪流-河流连续体(continuum)的元素迁移过程,对于理解森林与对接水生生态系统的生物地球化学联系具有十分重要的意义