现在各种社交媒体上会有大量的推文内容。一方面,这些文本内容里的实体信息往往存在谐音、缩写、指代不清等问题,因此让用户难以知道实体所指对象。另一方面,许多推文都有其所搭配的图片,这里面有些图片可以很好的反映文本内容,并帮助用户了解到文本中实体所指对象,但同时也存在许多图片没有很好的反映文本内容,对用户理解文本没有作用,甚至误导用户理解文本信息。针对以上问题,本文拟研制一套面向社交推文的配图评估与搜索系统。该系统可以基于多模态实体链接的技术来准确感知推文里的实体所指对象,然后利用多模态知识图谱,对社交推文配图语义匹配度作出正确评估,最后借助于互联网和知识图谱,从多个数据源为推文搜索和挑选合适的配图。具体来说,本文的主要工作内容包括:（1）本文提出一种基于图文语义匹配的多模态实体链接技术,设计一个多阶段图文匹配度计算的机制。通过多阶段图文匹配计算,删除与文本弱相关的图片,增强文本中相关实体的表达能力,同时设计了基于注意力机制的多跳实体查询模型。通过联合查询实体的周边实体,可以更好地捕捉到实体上下文的重要信息。（2）本文提出一种基于多模态知识图谱的社交推文配图语义匹配度评估技术,通过计算推文和图片各自的表示,检索推文在知识图谱里的相似文本集合以及图片在图谱里的相似图片集合,然后查询两个集合有无交集,可以对社交推文配图语义匹配度作出评估。（3）本文设计出一种面向社交推文的配图评估与搜索系统,对于给定的推文以及图片信息,不仅可以对推文配图语义匹配度进行评估,另外借助于互联网和知识图谱,从多个数据源为推文搜索和挑选合适的配图。