【摘 要】
:
随着移动设备和计算机硬件的发展,多媒体数据有了前所未有的增长速度。在数量庞大的多媒体数据中,用户希望用一种模态的样本从其他模态中检索与之主题相关的样本。现有的多模态检索算法通常面临这样的问题:1)多模态数据异构,不同模态数据分布不同。2)语义抽象。在很多情况下,一个主题需要多种模态的数据来进行阐述和补充。例如,一条新闻通常不仅包含文字内容,还包含用来说明事件的图片或视频。为解决上述问题,本文在图卷
论文部分内容阅读
随着移动设备和计算机硬件的发展,多媒体数据有了前所未有的增长速度。在数量庞大的多媒体数据中,用户希望用一种模态的样本从其他模态中检索与之主题相关的样本。现有的多模态检索算法通常面临这样的问题:1)多模态数据异构,不同模态数据分布不同。2)语义抽象。在很多情况下,一个主题需要多种模态的数据来进行阐述和补充。例如,一条新闻通常不仅包含文字内容,还包含用来说明事件的图片或视频。为解决上述问题,本文在图卷积网络的基础上,融合生成对抗网络和注意力机制,通过有效拟合多模态数据分布,在缩小两种模态间的异质性方面取得了很好的效果。本文工作如下:(1)提出一种基于生成对抗学习和图卷积网络的跨模态检索(Adversarial Graph Convolutional Network for Cross-modal Retrieval)方法。语义表达的完整性在跨模态检索任务中起着重要作用,它有助于对齐跨模态数据,缩小模态差距。但由于语义的抽象性,同一个主题可能需要从不同的方面才能被很好地描述,所以用单个样本描述主题会导致语义表达不完整。为获得语义互补信息,增强具有相同语义样本的相似信息,本方法利用图卷积网络(graph convolutional network,GCN)根据样本自身与邻居间的邻接关系重构样本表示。本方法为每个实例构造了一个局部图,并提出一种新的基于GCN的图特征生成器和一个全连接网络来重构局部图的节点特征,并将两种模态的特征映射到一个公共空间中。图特征生成器和图特征判别器采用极大极小博弈策略生成模态不变的图特征表示。在三个基准数据集上的实验表明,与几种最新的方法相比,该方法提出的模型具有优越性。(2)提出一种基于迭代图记忆网络的跨模态检索(Iterative Graph Attention Memory Network for Cross-Modal Retrieval)方法。如何消除多模态数据之间的异质性差异、有效融合多模态特征是跨模态检索的关键问题。语义的抽象性使得单个样本的语义表达具有片面性。为获得具有相同语义样本之间的互补信息,本方法为每个实例构造一个局部图,并利用图特征提取器(graph feature extraction,GFE)根据样本自身与相邻样本间的邻接关系重构样本表示。现有的一些跨模态检索算法只关注成对样本的学习,不能从其他模态整合更多的跨模态的信息。因此,本方法利用跨模态图注意策略,根据每个样本对应的成对样本局部图为每个样本生成图注意表示。为消除模态间的异质差异,该方法利用一种循环门控记忆网络融合两种模态的特征,从其他模态中选择突出的特征,过滤掉不重要的信息,从而在公共潜在空间中获得判别能力更好的特征。在四个基准数据集上的实验表明,该方法提出的模型与最先进的跨模态检索方法相比具有优越性。
其他文献
数学建模是一种用抽象方法对现实问题进行研究的过程,在自然科学领域,有着精准、包容性高的研究方法,帮助解决了许多的实际问题。随着科技不断地进步,计算机技术开始渗透在不同的领域中,帮助其它领域跟上时代的发展脚步。数学建模也不例外,计算机技术与数学建模结合后,在数学建模中有非常关键的地位,它的进步极大地帮助数学建模的应用、推广,让相关的学者在研究数学建模过程中避免了枯燥且复杂的计算,计算机技术和数学建模
为了探索现代皮革产品设计制作中的创新路径,进一步增强我国皮革品牌在国内、国际市场中的核心竞争力,本文以图案创意为切入点,研究其与皮革产品设计深入融合的应用方案。主要采用文献调查法、现状研究法和案例分析法对本文研究主题展开讨论,讨论了传统元素图案和现代流行图案在视觉传达中的创新价值,分析了将其与皮革产品的设计与制作相结合的应用实例。挖掘不同视觉图案在皮革设计作品中的审美价值和经济价值,分析了两大类皮
现阶段,伴随着我国工业进程的不断创新与完善,电厂的地位越来越凸显出来,而在电厂热动装置运行过程中,尽管大部分的能源会完整的转化为电能,但是仍有少部分能源在转化过程中出现了损耗,最终导致了能源浪费以及能源利用率低下的问题。因此如何才能从根本上解决这种问题,提高电厂的能源利用效率是新时期电厂生存与发展首要考虑的问题。对此,本文中,笔者将针对电厂热动装置检修工作当中存在的问题,对具体的解决策略进行分析,
本文运用GIS空间分析、不均衡指数、核密度指数等方法,对河南省190处红色旅游资源空间分布特征进行分析。结果表明:总体上,河南省红色旅游资源呈聚集分布特征,集中分布在9个城市,形成豫南和豫西北两大聚集区;红色旅游资源以反映新民主主义革命和中华人民共和国成立以来的历史文化遗迹为主,新民主主义革命时期5个阶段和中华人民共和国成立以来的红色旅游资源具有不同的聚集分布特征,谱写了不同时代革命主旋律;新民主
孩子的教育是一项系统的教育工程,它包含家庭教育、学校教育、社会教育。著名教育家苏霍姆林斯基曾把儿童比作一块大理石,他说要把这块大理石雕刻成一座雕像需要六个雕塑家:家庭、学校、儿童所在的集体、儿童本人、书籍、偶然出现的因素。因此,家庭教育占据着儿童教育十分重要的部分,而阅读则是影响儿童发展的一个重要因素。本文通过案例分析,探究在家庭教育中,家长如何引导还子一步步提升阅读兴趣,进而促进孩子的阅读能力素
街道社会工作服务站建设是实现基层治理现代化的重要实践,是新时期社会工作职业化的重要阶段,是社会工作者专业化的重要契机。以南京市D街道社工站为例,其定位表现为基层治理和民生服务的综合性公共服务支持平台,以构建系统化的街道社会工作服务“大榕树”体系为目标,在基层治理精细化中增进民生福祉。由于政策制度、社会资源、社工机构、社工人才、专业服务方面存在的问题,导致街道社工站建设不尽如人意。为此,建议从“政府
目的:探讨促甲状腺激素(TSH)抑制疗法在甲状腺全切术后的应用效果。方法:选取2019年1月-2021年1月中山市陈星海医院收治的分化型甲状腺癌患者102例,使用随机数字表法将其分为观察组(n=51)及对照组(n=51)。两组均进行甲状腺全切术,对照组接受促甲状腺激素替代疗法,观察组接受TSH抑制疗法,对比两组的甲状腺激素水平、疾病血清相关指标、肿瘤相关因子及预后情况。结果:治疗前,两组的游离三碘
穿编工艺是中国优秀传统工艺之一,将穿编课程引入幼儿园,不仅有助于培养幼儿专注力、审美能力、手眼协调能力等综合素质,更是对中国优秀传统文化的传承和弘扬。本文结合幼儿的学习方式和特点,从以材料为媒介,激发穿编兴趣;以游戏为抓手,渗透穿编技巧;以主题为线索,拓展穿编思路以及以穿编为载体,丰富课程内容等四个方面,尝试对幼儿园引入穿编课程进行探讨。
数学建模是用数学语言描述实际现象的过程,应用数学方法来解决现实生活中的各种实际问题时,建立数学模型是这个过程关键的一个步骤,但同时也是比较难做到的一步。而数学模型一般是将现实中的事物进行适当的数学简化,从而在某种层面上来逼近现实中的事物的抽象形式而存在。一般来说,数学模型按照建立模型的数学方法分类可以分为初等模型、几何模型、微分方程模型、数学规划模型等,而本文主要介绍微分方程中的几种经典疾病模型,