多模态数据检索算法研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:manhong85
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
跨模态检索是通过关联不同类型数据的语义来实现多个模态数据之间交叉检索的一种方式。由于哈希技术具有查询速度快和存储空间小的特性,近年来产生了许多跨模态哈希方法。现有的跨模态哈希算法大多局限于图像和文本数据,但在实际应用中,多媒体数据通常具有两个及以上的媒体类型,使得以往的检索算法难以取得很好的效果。为此,本文提出两种多模态数据检索算法,分别解决数据样本间的高阶关系和数据实例未配对两个问题。针对数据之间的高阶特征被忽略的问题,提出基于超图的离散矩阵分解哈希算法HDMFH。考虑将不同模态的数据映射到共同空间中,算法采用联合矩阵分解技术学习公共语义表示,同时利用超图学习对实例之间的高阶关系进行建模以增强该公共语义表示的判别能力。然后,对公共语义表示进行正交旋转以生成二进制编码,并结合监督语义标签来弥合跨不同模态数据间的语义鸿沟,这种连接的方式不受限于两种模态,使得算法可以扩展到任意多模态场景。针对数据实例未配对的问题,提出未配对跨模态哈希算法UCMH。算法首先为不同模态的数据分别学习各自的潜在子空间,同时考虑到数据样本的模态内相似性,利用相似性保留技术来保持数据的固有结构。之后,通过正交旋转技术转换潜在子空间,将各个模态的潜在特征编码成离散哈希码,并通过标签信息增强哈希码的判别能力。此外,通过构建亲和度矩阵来连接未配对的数据,弥合数据在不同模态间的语义鸿沟,如此使本算法能够同时处理单标签未配对情况和多标签未配对情况。本文采用三种评价指标,分别在跨模态数据集和多模态数据集上对提出的两个算法进行广泛实验。实验结果表明,提出的HDMFH算法能够有效完成各种检索任务。此外,在数据未配对场景中,提出的UCMH算法在处理跨模态和多模态检索问题上均表现出了显著的性能优势,同时也证明了本算法在配对数据检索问题中的扩展能力。整体来说,本文提出的两种算法都能够获得准确的检索结果,并能满足多模态检索任务的要求。
其他文献
在软件的整个生命周期过程中,为了满足用户不断变化的产品需求,开发人员经常经常在时间压力下进行软件升级与维护,从而导致代码异味的产生。通常,这些异味会对软件造成极大的隐患,引起了学术界和工业界的高度关注。继承冗余是危害最严重的代码异味之一,并且在代码中出现的频率较高。然而,此种异味却很少被研究,主要因为存在两个挑战:(1)数据集的缺失(2)继承冗余代码异味的检测规则较难设计。针对上述问题,本文提出了
5G通信技术以低延迟的技术特性为物联网海量设备的连接和实时控制提供了强有力的支持。物联网已被应用到各生产过程中来提高经济效益,但通信负载的不均衡使部分节点快速消耗大量能量,严重制约着网络性能的进一步提升。因此,如何构建一个负载均衡的物联网异构拓扑结构已成为关键问题。多汇聚节点网络已被证明可以有效避免能量空洞问题。通过在网络中部署多个汇聚节点,可以有效减轻单汇聚网络中靠近汇聚节点的部分节点上的数据压
SQL语句的测试用例生成工作是软件工程领域中一项重要而又具有挑战性的任务。由于以数据库为中心的应用程序在生产生活中的重要性,SQL语句的测试用例生成已经引起了广泛的关注。其主要的目标是,构建一组测试数据库,用于满足指定的覆盖准则。然而,由于SQL语句本身的复杂性,为SQL语句生成测试用例将是一项非常困难和耗时的工作。现有的研究大都将该问题建模为单目标优化问题,并采用单目标方法进行求解。然而,由于对
图像融合是信息处理领域的重要课题,旨在从信息互补的两张或多张图像中提取出完整的视觉信息,融合生成一张信息丰富、边缘清晰的图像。融合图像更符合人眼视觉系统感知习惯,并能够为后续的计算机视觉感知提供易于辨别的特征。图像融合任务的挑战在于如何在融合图像中保留显著且完整的源图像信息。近年来,随着卷积神经网络技术的快速发展,图像融合技术取得了令人瞩目的进步,但是大部分的方法仅仅局限于处理单一的图像融合任务,
对于高校学生来说,除了学习以外还有其他的业余活动,有的学生有丰富的兴趣爱好,还有的学生兴趣爱好比较匮乏。在心理学中,兴趣作为人们内在的一种力量,对个人未来的发展起重大影响。通过调研发现,当前关于学生兴趣的研究大多基于社交网络或者单一维度特征,很少从多元特征出发对学生兴趣进行研究,本文基于教育数据从多元特征出发对学生兴趣进行了研究。本文首先对学生数据进行了分析,希望从海量数据集中挖掘有效的学生兴趣信
3D打印在不同领域得到了广泛应用。路径规划是3D打印过程中的一个重要环节,优化路径规划方法不仅可以提高成型质量,还可以提高打印效率。然而,传统路径规划方法在打印复杂薄壁结构时效果不理想。本文首先利用强化学习的智能性,提出了一种基于Q-learning的适用于复杂薄壁结构的路径规划方法。首先将强化学习中的路径规划任务转换为全遍历问题,以提高打印效率和成型质量为优化目标,即最小化打印头的总启停次数和转
物联网在现代社会得到了广泛的部署,比如消防预警、边境反恐和智慧农业等,这些应用要求物联网具有较低的数据延迟和较高的生命周期。无标度物联网模型可以抵抗节点由于能源耗尽和硬件故障发生的随机损耗,而在针对网络中关键节点的恶意攻击下却十分脆弱。因此,提升无标度物联网的鲁棒性,维持网络在恶意攻击下的连通性极其重要。神经网络模型对于序列建模任务具有极强的特征提取能力。将拓扑鲁棒性优化问题转化为序列预测任务可以
3D打印技术因其高度定制化等优势,目前广泛应用于骨外科的缺损修复手术中。仿生骨的研究分为两个阶段,对仿生骨建模和打印实体。建模方式分为两类,使用螺旋CT扫描骨关节和构建多孔结构晶胞。螺旋CT扫描的缺点在于无法重建骨质内部多孔结构,而简单多孔结构晶胞边缘尖锐,机械性能不好。本文提出了一种基于三周期极小曲面的仿生骨设计与优化算法。如果直接使用宏观尺度优化算法优化微孔径,会存在计算机内存不足、计算效率低
共识算法作为区块链的底层核心技术,能够在去中心(多中心)的分布式环境下保持不同节点间数据账本的一致,是维系区块链系统稳定运行的关键所在。当前联盟区块链中应用最为广泛的共识算法是实用拜占庭容错共识算法(Practical Byzantine Fault Tolerance,PBFT),作为传统分布式领域的一致性协议,PBFT算法在应用于区块链系统时,还需要在性能和可靠性方面再进行针对性地设计和优化。
在大数据时代,众包平台收集数据越来越方便,同一个问题可以从不同源获得很多答案,这些答案甚至彼此冲突。因此,如何从众多答案中获得真实信息(即,真值)一直是一个研究的热点问题。众多学者提出了各种真相发现方法,但是现有的方法只能处理分类类型数据或数值类型数据,而没有办法很好的应用到文本类型数据。基于上述问题,本文旨在研究如何对中文文本数据进行真相发现。中文词语有其特殊的语义特征,不同的词语可能表达相同或