知识图谱以其强大的知识组织能力及推理能力对人工智能的发展有着重要作用,因此受到广泛关注。知识图谱根据内容的不同分为通用知识图谱和领域知识图谱,通用知识图谱是对全领域知识的组织,领域知识图谱则是面向特定领域信息的组织,随着智慧教育的发展,学科知识图谱的构建成为不可或缺的一部分工作,而多模态的学科知识图谱可以将知识以不同的形式表达,不仅可以丰富知识图谱的信息,还可以适应不同学习者的学习风格。因此,为了更好的促进智慧教育的发展,需要研究一种高效的多模态学科知识图谱构建方法。本文以构建计算机科学领域多模态知识图谱为例,提出构建领域实体集的方法,并基于已有的大型背景知识库、文本及图像的多模态信息进行领域实体间多种关系的挖掘,通过对图像信息的挖掘,实现图像实体与文本实体的对齐、图像的分类以及图像间关系的发现。本课题的主要研究工作如下:1)设计实现了一种基于图排序和最大信息增益的领域实体抽取方法。在领域文本资源中利用实体的结构相关度构建实体图,通过图排序算法抽取领域核心实体,然后在DBpedia中利用最大信息增益原理进行实体扩展,获得较为全面的领域实体。分别在数据结构领域数据集和CSEN、EcoEN公开数据集上进行实体抽取方法评估,在INEX公开数据集上进行实体扩展方法评估。实验结果表明,领域实体抽取方法能够有效构建较为全面、准确的领域实体集。2)设计了基于文本结构、实体属性和图像信息特征的先序关系抽取的方法,利用RF模型实现先序关系的二分类。首先通过实体聚类将相似度较高的实体形成簇,在簇内进行先序关系的判别以降低实验的计算量和时间复杂度,在相对常用的先序关系抽取特征的基础上,设计了利用图像信息挖掘先序关系的特征,将是否存在先序关系转化为分类问题,利用分类器进行先序关系判别,通过查全率、查准率和F1值对实验方法进行评价。为了丰富领域关系,对领域知识进行分析并设计了计算机科学领域的独特关系,最后通过对领域本体的丰富,实现了抽取知识和领域本体的链接。3)设计了基于多级信息源的多模态实体对齐算法以及基于神经网络模型和规则设计的多模态实体间关系抽取方法。利用OCR技术对图像内文本信息进行识别、对图像周围描述信息进行实体抽取以获得图像相关实体,将其与领域实体集通过基于字符串相似的算法实现多模态实体对齐。利用ResNet神经网络模型实现图像分类,从而获得文本实体与图像间的不同关系,并通过设计图像间关系挖掘规则在图像和图像间建立关系。最后通过对构建的多模态知识图谱进行规模统计与结果可视化展示。