鉴别性跨模态检索算法研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:pjzh210427
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着互联网的快速发展,由视频剪辑、图像、文本等多种类型的数据构成的多媒体数据无处不在。如何从这些多媒体数据中获得丰富的信息和宝贵的价值引起了学术界和工业界的广泛研究,跨模态检索算法应运而生。人们对跨模态检索进行了各种各样的研究,该算法的目的是当给定来自一个模态的数据对象作为查询时,可以从另一个模态获得所需的相关对象,所提供的结果能够帮助用户获取有用的信息。跨模态检索方法存在一个基本问题,即如何直接度量多模态数据之间的相似性,这被称为语义鸿沟。为了解决这个问题,大致有两类方法,一类是跨模态子空间学习方法,另一类是跨模态哈希方法。考虑到多模态数据的特点和一些现存于跨模态检索方法的缺点,本文针对如何充分地利用鉴别性信息来更好地保留语义结构信息展开摸索,主要做了以下工作:(1)为了既保持多模态信息之间的相关性,又充分利用语义结构信息,提出了一种跨模态检索的鉴别子空间学习方法,将特征选择和语义结构保留结合到子空间学习中。该方法通过构建一个共享图来保留每个模态中的语义结构,此外引入希尔伯特-施密特独立性准则来保持样本的特征相似度和语义相似度之间的一致性,最后为学习模型构造了一个标签角度重构方案,以学习每个模态的特征表示,这个项可以弥补鉴别性数据使用不充分的缺点,使学习到的表示更具鉴别性,从而提升跨模态检索的性能。针对优化问题,设计了一种基于Stiefel流形的迭代优化方法,该方法收敛性较好,并提供了它的严格收敛性的理论分析。在两个广泛使用的数据集上的实验结果表明,与五种经典的子空间学习方法相比,该方法可以获得更好的性能,因此在子空间学习方法中更具有竞争力。(2)现有的哈希方法仍然存在一些挑战,例如如何有效地利用标签信息,如何学习到更具鉴别性的哈希码以及如何避免大规模相似度矩阵带来的高成本。为了解决这些问题,提出了一种快速鉴别性跨模态哈希方法。在哈希码学习阶段,该方法引入哈希码角度重构方案,将图像和文本信息重构到汉明空间中,利用低层文本图像原始特征直接学习二进制哈希码,减少了由松弛方案引起的信息损失。其次,该方法没有通过构造9)×9)的相似度矩阵,而是利用语义标签嵌入方案直接建立高层语义标签到哈希码的映射,所以计算量较小,存储成本较低。结合上述两者可以学习到更具鉴别性的哈希码。另外,在哈希函数学习阶段,在简单的线性分类回归模型基础上引入一个公共项来保留模态间的有价值的公共信息,从而学习到更加符合预期的哈希函数。在两个基准数据集上展开了充分的实验,最终数据显示,与一些先进的哈希方法相比,该方法可以获得令人满意的性能,具有优越性和有效性。
其他文献
在新冠肺炎疫情的影响下,经济下行趋势明显,对于我国酒类行业,特别是高端白酒,影响更大,但给价格相对较低的低度酒饮发展带来了更多可能性。同时,随着健康饮酒的不断提倡,低度酒饮近年来得到了快速的发展,消费群体扩大,且呈现年轻化、高端化的态势。更为重要的是,消费群体中女性占比超过60%,且占比呈现增增长态势。L公司作为传统白酒企业,主要通过传统的线下经销渠道方式销售产品,现客户群体主要为40-60岁爱酒
学位
近年来,随着中国人口的增长以及人民对健康的重视度的提高,公立医院面临的就诊及住院人次日益增长,基本建设投入、资产资金规模也随之不断扩大,而公立医院内部管理模块的运行机制还停留在十多年前。据此,国务院将对公立医院内部控制管理的改革工作划入国家发展重点,强调建立健全公立医院内部控制管理模块机制,于2008年,国家财政局下发《医院内部控制基本规范》,要求行政事业单位建立完善6项内控管理模块,2021年1
学位
为落实我国医疗体制改革发展的要求,应对人口老龄化趋势,特别是疫情对疾病监测管控所提出的新的时代命题,医疗卫生机构需加强疾病预防、疾病筛查和疾病控制,通过信息化手段构建医患互动或居民个人的健康管理模式,降低疾病发生率。对通信运营商而言,在现有短信、语音、流量、宽带和增值服务较难提供更多利益增长点的情况下,需整合资源和补强能力实现竞争力的突破。在此背景下,A企业作为通信运营商的专业子公司,承担医卫行业
学位
随着数字技术、移动互联网技术的不断发展,智能移动设备逐渐普及,短视频应运而生,改变了人们信息接收的方式也改变了人们的生活。近年来,在体育强国等政策的支持下,越来越多的体育自媒体人投身短视频平台,借短视频的势头传播体育。本报告是笔者根据本人创建并运营的微信视频号“女排纪念册”的亲身实践经历,针对该微信视频号的创建背景、内容策划与生产流程、运营推广等方面进行的阐述,并在报告中选取了三个具有代表性的短视
学位
研究目的:再灌注损伤是恢复血液流动和组织氧合后缺乏血流和缺氧的器官所表现出的自相矛盾的组织反应,已经成为基础和临床研究的重点,已有超过40年的历史。尽管已经提出了多种分子机制来解释这种现象,但是作为再灌注损伤发生的关键因素,活性氧(ROS)的过量产生仍受到广泛关注。心脏缺血和再灌注引起严重的心肌炎症,导致细胞损伤和组织功能障碍。在这一炎症过程中,活性氧(ROS)形成,可能显著促进心肌损伤。有证据支
学位
制造业是国民经济发展的支柱产业,中国政府提出的《中国制造2025》行动纲领,目标是实现“制造大国”向“制造强国”的跨越发展。当下制造性企业不但正处于时代变化的浪潮之中,还面临着不断变化的客户需求,激烈的行业竞争以及急速上升的成本压力,因此企业通过数字化生产管理提升企业的竞争力也就势在必行。为了推动制造业向数字化转型,各个国家均发展了数字化生产管理的基本理论体系。我国结合数字化的定义,提出了信息物理
学位
研究目的:新课程标准中的体育课程目标要求通过培养学生的体育知识,发展学生的体育核心素养。随着“健康第一”、“教育现代化”、“弘扬体育育人功能”、“终身体育”等体育教学理念的更新,越来越多的新型体育课程模式强调体育课程不仅应包含运动技能的学习,更应重视体育理论知识的学习。目前我国儿童普遍存在身体活动水平不高并且随着年级的升高逐年下降的问题,而学生的体育学习兴趣也随着年级的上升逐年递减。当前有许多研究
学位
随着产业及技术不断发展,学界对于传媒创新的讨论和业界对于媒体创新的实践一直在持续。可以发现的是,目前学界业界对于网络体育媒体的创新话题多数都聚焦在内容生产、分发方面的提升或改变,属于持续性创新范畴。但已有学者开始呼吁,对于网络体育媒体所面临的发展困境,也需要从颠覆性创新的角度出发去探讨。新浪体育在2014年国务院颁发“46号文件”前后陆续失去了作为网络体育媒体发展核心资源的大型体育赛事转播权,面临
学位
目的:塞内卡病毒作为一种新兴的溶瘤病毒,该病毒能够有效选择并破坏诸如人小细胞肺癌、视网膜母细胞瘤等具有神经内分泌性质的癌症。但仍不清楚其能否破坏其他类型的癌症,尤其是口腔鳞癌作为全球发病率前十的恶性肿瘤,也没有证据显示该癌症可以被塞内卡病毒破坏。为了探索口腔鳞癌新的治疗方法并拓展塞内卡病毒的在溶瘤领域的应用,本研究以舌鳞癌细胞系CAL-27(Oral Squamous Cell Carcinoma
学位
描述化疗期间发生跌倒的肺癌患者的临床特征,分析跌倒的原因,为预防肺癌患者化疗期间跌倒及降低跌倒发生率提供防范措施。研究表明,护理管理人员应完善约翰霍普金斯风险评估量表评估内容,增加化疗方案、脑转移及症状的相关评估内容,或将高风险项目纳入自定义项目中,以保证该评估量表更具特异性及临床使用价值。同时要加强护士和患者跌倒预防相关知识培训,制定防范措施时应充分考虑患者夜间活动行为的管理以及化疗期间的注意事
期刊