大数据场景中的图像语义信息提取与检索优化研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:xf198699
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网时代,大量即时通讯软件、办公软件、购物平台、游戏平台等极大地便利和丰富了人们的学习、生活与工作,同时也产生了海量的多类别、异构性、非结构化的数据,比如视频、图像、音频、超文本等多媒体数据。大数据时代,图像数据以其直观性和信息大的特点数量爆炸性地增长,给人们生活带来极大的便利,但也因数量巨大、质量参差不齐、应用场景复杂等使得人们对图像处理效果提出了更高的要求,因此提高图像语义信息提取与图像检索的性能自然成了研究的热点。提高图像语义信息提取的性能不但要深入挖掘图像本身的视觉特征,还要深入挖掘图像语义标签以及其它具有语义信息的数据对图像语义信息提取的影响,比如图像的轮廓和纹理可能与图像的分类标签关系密切,搜索引擎中的用户点击日志可以在一定程度上反映出图像检索结果的质量,并反过来用于图像的检索优化。本文充分利用多视图/多模态数据对图像语义信息提取的促进作用以优化图像数据的语义特征提取方法,从而提升图像特征维度约简、三维人体姿态恢复、图像检索以及高分辨率图像分类的性能。本文以图像数据的语义信息提取为切入点,以基于超图的拉普拉斯特征映射、自编码器、深度卷积神经网络、图像增强等为技术手段,对多标签数据的特征维度约简、融合点击信息与图像视觉特征的图像检索优化、基于二维图像的三维人体姿态恢复、高分辨率图像分类问题进行了深入的研究。通过充分挖掘图像的多视图/多模态数据对样本间关系、样本语义空间的影响,提升图像语义信息提取与图像检索的性能。本文的主要创新点和贡献如下:(1)针对多标签数据特征维度约简问题,我们提出了融合多视图信息的多标签语义特征提取算法。首先采用去噪自编码器获取多标签数据特征空间的鲁棒表达,然后与不同的标签组合起来构成多标签数据的多个视图;在此基础上基于超图学习理论,融合多个视图中样本间几何关系所对应超图的Laplacian矩阵以提升特征提取的性能;最后通过融合后的Laplacian矩阵的特征值分解得到多标签数据的低维语义空间。实验结果证明本算法所提取的多标签语义空间可以有效提高样本的分类性能。(2)针对图像检索中存在的语义鸿沟问题,我们提出了融合点击数据与图像视觉特征的图像检索优化方法。分为离线阶段与在线检索阶段。首先离线阶段通过挖掘图像的视觉特征并计算样本间近邻关系构建局部批然后进行全局对齐,以构建出对应超图的Laplacian矩阵;在线阶段根据检索原排序以及检索点击日志,在特定约束条件下,重新建模样本间近邻关系并构建对应的超图以及Laplacian矩阵。融合两个Laplacian矩阵所代表的两个低维语义流形,构建并求解图像检索优化目标函数以得到优化的检索排序。实验采用了商业搜索引擎的图像数据以及检索日志,结果表明本算法可以有效改善检索的结果。(3)针对三维人体姿态恢复中存在的语义鸿沟问题,我们提出了基于超图正则化自编码器的三维人体姿态恢复算法。本算法针对二维姿态轮廓的歧义性问题,采用局部性约束构建了改进的自编码器以提高自编码器输出结果的稳定性。该约束通过采用基于样本间几何关系的超图Laplacian矩阵的正则化项来实现。实验结果表明,改善的姿态轮廓特征自编码可以大大降低人体三维姿态恢复的错误率。(4)由于硬件的限制,常规的深度卷积神经网络不能直接处理高分辨率图像分类问题。针对这个问题我们提出了采用图像增强的高分辨率图像分类网络。该网络包含两个子网络:图块网络与图网络。首先将高分辨率图像切分成固定大小的多个图块,经过图像增强后输入到图块网络进行训练以提取单个图块的语义特征。从图块网络提取的单个高分辨率图的所有图块的语义特征组合后输入到图网络进行训练,该网络融合了所有图块的语义特征以及图块间的空间信息来对高分辨率图进行分类。此外,针对深度网络解释性没有常规机器学习方法强的问题,我们结合人工设计图像视图的易解释性与深度网络强学习能力的优点,提出了融合多视图特征的高分辨率医学图像分类网络。本方法首先构建单个图像的多个视图,然后通过构建一个融合网络来融合图像的多个视图以提高高分辨率图像的分类性能。本方法可以有效利用人工知识的积累以及深度卷积神经网络的学习能力,具有较高的实用价值。总之,本文提出的算法通过构建可行的数据多视图/多模态信息的融合方法,有效提高了多标签数据维度约简、图像检索、三维人体姿态恢复以及高分辨率图像分类的性能。
其他文献
随着现代企业的经营理念向“以用户为中心”的转变,用户满意度成为企业竞争的重点,满意度的评价成为判断企业发展好坏的重要标准。在电信行业中,用户满意度也成为影响企业发
由于生物化学作用、下覆油气资源渗漏扩散以及天然气水合物失稳分解的存在,造成了海水中溶解甲烷浓度的不均匀性分布。海水中的溶解甲烷浓度不仅对全球气候和海洋环境变化有
发展燃气轮机技术是我国改善能源结构、能源清洁利用和能源安全之必须。发展低碳能源、减少碳排放已经成为包括我国在内的全球主要国家的共识。由于我国已经是全球最大的碳排放国,而且一次能源消费以煤炭为主,因此改善能源结构是大势所趋,这不仅需要大力发展非化石能源,也需要加速天然气的利用。本文基于三种不同等级的燃气蒸汽联合循环发电机组,运用Ebsilon软件模拟循环过程,对联合循环系统分部件的热效率、(?)效率
随着通用知识图谱在搜索、问答、推荐等场景的成功应用,各行业相继出现了对知识图谱的巨大需求,知识图谱技术的研究也逐渐从通用领域过渡到特定领域。与通用知识图谱不同的是,领域知识图谱包含的知识体系通常具有很强的专业性和领域针对性,因此通用知识图谱自下而上的构建方式并不完全适用于特定领域。在此背景下,本文以特色小镇为对象进行了多源数据下领域知识图谱构建和应用的研究,主要的研究工作包括:(1)在构建特色小镇
本文通过理论分析和室内试验,得出了极软地层巷道围岩流变扰动变形规律及软岩流变扰动效应本构关系。本文主要进行了三个方面的工作:一、针对外界动压扰动引起北皂煤矿软岩巷
上海烟草集团北京卷烟厂大力倡导“科技创新生活”、“点燃精致生活”生产理念,和“效率增值节约入行”成本理念,坚持“创新驱动发展”的转型方式,始终追求争当国内混合型卷
戊型肝炎(Hepatitis E,HE)是世界范围内一种主要的急性病毒性肝炎,由戊型肝炎病毒(Hepatitis E virus,HEV)感染引发。戊型肝炎病毒基因组包含三个开放阅读框(ORF),其中ORF2编
旅游是实现乡村振兴的有效手段。国家公园体制背景下,位于保护地边缘、依托保护地开展旅游活动的乡村势必会因保护地调整而受到影响。因此研究国家公园体制下乡村空间重构有助于乡村未来的转型发展、增强发展的科学性和可持续性。本文借助吉林省辉南县金川村的微观实例调查,运用深度访谈、Google卫星影像的目视解译等方法,主要作了四部分内容:第一,理清保护地与乡村互动关系及所含问题;第二,分析保护地旅游开发引起的乡
会议
在遥感影像获取的过程中,由于多种原因,使得影像存在不同程度的辐射失真,这使得同一地物在影像上的灰度存在差异,严重影响了图像的质量和后期的应用。产生辐射失真的原因有很