【摘 要】
：
视觉问答作为多模态任务,需要深度理解图像和文本问题从而推理出答案.然而在许多情况下,仅在图像和问题上进行简单推理难以得到正确的答案,事实上还有其他有效的信息如图像描述、外部知识等可以被利用.该文提出了利用图像描述和外部知识增强表示的视觉问答模型.该模型以问题为导向,基于协同注意力机制分别在图像和其描述上进行编码,并且利用知识图谱嵌入,将外部知识编码到模型当中,丰富了模型的特征表示,增强了模型的推理
【机 构】
：
东北大学计算机科学与工程学院自然语言处理实验室
【基金项目】
：
国家自然科学基金重点项目（61732005）;国家自然科学基金面上项目（61876035）；
论文部分内容阅读
视觉问答作为多模态任务,需要深度理解图像和文本问题从而推理出答案.然而在许多情况下,仅在图像和问题上进行简单推理难以得到正确的答案,事实上还有其他有效的信息如图像描述、外部知识等可以被利用.该文提出了利用图像描述和外部知识增强表示的视觉问答模型.该模型以问题为导向,基于协同注意力机制分别在图像和其描述上进行编码,并且利用知识图谱嵌入,将外部知识编码到模型当中,丰富了模型的特征表示,增强了模型的推理能力.在OKVQA数据集上的实验结果表明,该方法相比基线方法有1.71%的准确率提升,与已有的主流模型相比也有1.88%的准确率提升,证明了该方法的有效性.
其他文献
本文以石油资源型城市克拉玛依市为研究对象,从"创新、协调、绿色、开放、共享"五大新发展理念角度出发,构建克拉玛依市经济高质量发展评价指标体系,运用熵值法测算2004～2019年克拉玛依市的经济高质量发展水平,并基于耦合协调度模型分析其耦合协调关系,得出主要结论:从整体看,克拉玛依市经济高质量发展水平呈现波动性上升态势,城市经济向多元化布局的高质量发展转变。从子系统看,共享系统增长最快,其他依次是协
随着互联网技术和应用模式的迅猛发展，表达方式丰富直观的知识图谱得到了大量关注，在知识表示学习方面积累了丰富研究成果，这些研究已在垂直搜索、智能问答等应用领域发挥了重要作用。在总结现有知识图谱嵌入研究基础之上，以面向的知识图谱数量为依据，将知识图谱嵌入模型分为面向单个知识图谱的链接预测模型和面向多个知识图谱的实体对齐模型两大类；逐类分析了知识图谱嵌入模型的标准处理流程，并在模型假设、实现方法、语义捕
文章基于CiteSpace对2000-2020年海洋空间规划研究进行了知识图谱和可视化分析,分析发文量、作者、机构、期刊影响力和合作网络变化,揭示研究热点的变化趋势。研究表明:欧美等经济发达国家和澳大利亚具有较高影响力,国家与机构间合作密切。海洋空间规划研究始终以生态系统和环境保护为中心,研究内容以政策研究和生态环境研究为主,研究热点由关注生态功能转变为以人类活动为主的整体功能规划研究,蓝色经济、
现有的时序知识图谱推理主要是基于静态知识图谱的推理方法，通过知识图谱的结构特征挖掘潜在的语义信息和关系特征，忽略了实体时序信息的重要性，因此提出一种基于实体活跃度及复制生成机制的时序知识图谱推理方法（EACG）。首先，通过改进的图卷积神经网络对多关系实体建模，有效挖掘知识图谱的潜在语义信息和结构特征。其次，时序编码器基于实体活跃度学习实体的时序特征。最后，使用复制生成机制进一步学习知识图谱的历史信
创新是使事物持续发展的动力,同样也是期刊经营发展的根本。在媒体融合发展的趋势下,行业期刊影响力有所下降,盈利模式遭受一定的冲击。在此背景下,行业期刊亟需探索新颖、有效的经营模式,实现创新性发展,推动期刊事业更上一层楼。文章结合期刊经营实际,分析行业期刊进行创新性经营的必要性,并结合现实案例对创新性经营路径展开阐述。
小额贷款公司是顺应经济金融形势诞生的新生事物,其功能对缓解中小企业贷款融资难、支持"三农"和县域经济都有明显作用。云南省昆明市晋宁县委、县政府为了积极探索缓解"三农"及小企业融资难题,正确引导、积极规范民间融
为有效开展国防交通领域数据资源分析利用,提高应急交通保障信息化支撑能力,研究探索知识图谱技术在国防交通领域的应用。针对国防交通领域特点,从知识来源、知识表示、知识获取、知识融合、知识存储和知识应用6个层次开展国防交通领域知识图谱框架设计和构建方法研究,并从业务知识关联搜索、业务辅助决策和可视化分析挖掘角度梳理其应用模式。最后形成了国防交通领域知识图谱整体框架,并提出构建流程方法以及应用模式,为国防
信息技术背景下,数字化传播得到了快速发展,给传统纸质媒体发展带来一定的挑战,例如生存空间缩小、受众群体不断流失。行业期刊具有专业性强与小众化特征,其在数字化传播背景下也面临着非常突出的发展困境。对此,行业期刊必须加快转型发展。文章分析了行业期刊转型发展过程中面临的困境,指出行业期刊转型发展的具体对策,以期为行业期刊转型发展提供一定参考。
在遥感大数据时代，遥感影像智能解译是挖掘遥感大数据价值并推动若干重大应用的关键技术。传统的以专家系统为代表的知识驱动的遥感影像解译方法可解释性强，然而由于解译知识往往难以完整、准确表达的原因导致该类方法解译精度不足。随着深度网络在计算机视觉等领域的兴盛，深度学习逐渐成为遥感影像解译的主流技术，但仍面临可解释性差、泛化能力弱等突出问题。为了克服上述问题，如何有机联合知识推理和数据学习已经逐渐成为遥感
宫腔粘连是子宫内膜纤维增生和子宫壁损伤后子宫腔部分或完全粘连的并发症,其发病机理目前尚不明确,临床对其预防及治疗仍有待改善。动物模型是宫腔粘连机制研究和治疗策略评价的重要实验平台。大鼠作为经典的模式动物,在病理性子宫内膜损伤动物模型的构建中,具有诸多优势。本文聚焦宫腔粘连大鼠模型的发展历程,探究该动物模型的一次次技术突破,不断构建更符合临床病因的大鼠宫腔粘连模型。