金属材料领域的知识图谱构建过程中文本数据或者结构化数据的挖掘被更多关注,而多媒体数据的挖掘则时常被忽略。在一些特殊的问答需求中(例如可视化问答)这些知识图谱能够发挥的作用是有限的。本文设计了一种从维基百科多模态数据抽取金属材料领域知识并构建多模态知识图谱的方法。受到IMGpedia的启发,在文本挖掘的基础上进一步挖掘图像数据,与IMGpedia不同的是引入了基于深度神经网络模型的图像特征分类方法用于提取图像的视觉标签。除此之外通过将文本描述作为图像关联的上下文,利用实体注释系统得到了丰富的与图像关联的文本实体标签。同时基于WordNet和DBpedia的层次结构关系设计了基于拓扑结构的数据融合方法,将从图像视觉和文本描述中挖掘得到的知识进行融合,最终构建轻量级的多模态知识图谱。本课题做了以下研究工作:1)设计了基于深度神经网络模型的图像视觉标签生成策略。利用VGG-Net对图像视觉特征进行挖掘,通过对视觉特征分类为图像绑定视觉标签,而并非仅获取图像的简单视觉描述符。此外,设计了新的评价标准用于评价图像视觉内容处理的结果。与图像分类任务的评价标准不同,新的评价标准基于分类标签和图像视觉内容计算标签的合理性,本文将其定义为满意度。2)基于图像描述性文本和DBpedia,为图像获取其文本语义表述的文本标签。图像的描述性文本被作为上下文用于扩展图像关联的语义内容,利用DBpedia-Spotlight挖掘图像描述文本,获取图像对应的文本实体,这些得到的文本实体被视为与图像关联的资源。此外,设计了新的策略用于为DBpedia-Spotlight设置参数,使其能够更好的作用于本文的数据。3)设计了基于拓扑结构的多模态数据整合策略和方法,用于构建轻量级的多模态知识图谱。在WordNet和DBpedia的层级结构基础上,设计了图像关联资源的扩展策略和基于有效概念的概念筛选策略。定义了一组用于连接图像与文本、文本与文本的关系属性。设计了原型系统对相关的过程和结果进行展示。