知识图谱是一种用图模型来存储人类知识的技术方法，被广泛应用于智能查询、推荐系统和问答系统等基于知识驱动的人工智能相关任务中。近些年，随着知识表示学习方法的提出，传统知识图谱构建方法存在的推理困难、计算量大和长尾效应等问题得到了有效改善。本课题旨在充分利用多模态信息中的语义，辅助构建更为有效的知识表示学习模型，从而实现多模态信息的融合和多模态知识图谱的构建。这些多模态信息(如实体结构化信息、实体图像信息以及实体文本描述信息)能够有效地弥补知识图谱中缺失的信息。因此，本课题具有重要的研究意义和应用价值。
　　本文设计了一种基于知识表示学习的多模态信息融合方法，针对实体间的结构、实体图像和实体文本描述等多模态信息设计了不同的编码方式，并采用置信度评估、多模态实体对齐和多模态信息融合方法尝试构建和补全多模态知识图谱。具体来说，该方法首先基于知识表示学习模型对知识图谱内部的结构化信息进行置信度评估以确保融合知识的正确性，并在其中引入了文本描述信息来辅助提升置信度评估结果；其次，利用联合知识表示学习模型实现文本-图像多模态信息的表示(嵌入)，并根据对齐规则通过迭代的方式实现多模态实体对齐，经过置信度评估和对齐的多模态实体既保证了正确性又包含对齐信息；最后，采用向量叠加、向量拼接或模态交叉计算的方法实现多模态实体信息融合，并基于翻译模型框架实现多模态知识图谱的构建和补全。
　　本文在实体链接预测、知识图谱补全和三元组分类等知识表示学习经典任务上对提出的置信度评估方法、多模态实体对齐方法和多模态信息融合方法进行评测。实验结果充分说明，多模态信息中蕴含的语义信息能够帮助提升知识表示学习效果，也充分验证了本文提出的方法能够充分利用以上多模态信息辅助多模态知识图谱构建，并在实际评测任务中表现出较好的实验效果。