随着中文社区问答的不断发展,中文社区问答(如知乎、百度知道等)中积累的问答对数目非常庞大,当有用户提问时,先在社区问答中检索与提问类似的问题,若该问题并没有在社区问答中出现过,则将这个新问题发布出去,若检索到类似的已经被回答了的问题,则将类似问题的问答对返回给用户。随着信息时代的发展,人们在回答问题时,不仅仅局限于使用文本进行描述,并且用图片、音视频等更加直观的方式进行进一步的解释说明或作以证明等等,形成了多模态数据相辅相成的表现形式,故现在的中文社区问答中答案大多包含文字、图片、音视频等多模态数据。由于当前社区问答跨模态答案中存在着大量的其他多模态数据没有被合理的利用,未发掘文字、图片、视频、音频等多模态数据之间的关联性,在进行跨模态答案排序问题时也未考虑其他多模态信息的特征,以至于有些问题的高质量答案没有被有效排列。如何为提问者提出的问题匹配到更合理的答案,提高社区问答用户获取高质量答案的效率,是中文社区问答需要解决的关键问题之一。本文主要是针对目前中文社区问答中答案存在多模态结合的表达方式情况下,即除了文本表示外,还包含有图片、视频、音频等其他模态的信息表达形式,通过提取问题的文本特征、答案的文本特征以及答案中的其他多模态信息(本文以图片信息为例)的特征,再分析文本特征与图片特征之间的关联性,通过不同模态数据之间的关联性分析,研究了如何利用回答中的多模态信息来调整答案的分值,并提出了社区问答的跨模态答案排序方法,从跨模态的角度来分析多模态结合的答案,解决答案排序问题,将高质量的答案更高效地返回给用户。本文的主要研究内容如下:(1)相关性问题检索。当用户提出一个新问题时,需要通过问题与问题的相似度计算来返回给用户相似问题的问答对,本文使用了基于Word2vec词向量和GRU神经网络进行问句编码的相关性问题检索方法。(2)问题与答案的跨模态检索模型构建。首先计算问题与答案中其他多模态信息(本文以图片信息为例)的关联度,然后计算答案中文本与其他多模态信息(本文以图片信息为例)的关联度。采用LDA方法来提取问题与答案中的中文文本特征,采用SIFT方法提取答案中的图片特征,再通过典型相关性分析(CCA)方法进行关联度分析,计算出了问题文本与答案中其他多模态信息的关联度以及答案文本与答案中其他多模态信息的关联度。将文本特征向量集和图像特征向量集映射到同一最大相关子空间中,当用户给定一个问题查询时,求出问题文本的特征投影与答案中的图像特征投影之间的距离,将距离值最小的图像作为与问题文本特征最匹配的检索图像,同理可以求出与答案文本最匹配的图像,从而实现文本和图像的跨模态检索,构建了文本和图像的跨模态检索模型。(3)基于跨模态检索的答案排序方法。本文通过问题相似度计算,解决了当用户提出一个新问题时,可以从社区问答的问答对库中找到与问题相似的一系列问答对,然后从这些相似问题的问答对中,找到与问题关联度较高的多模态信息,多模态信息是回答中所包含的多模态信息(例如图片等),再看该回答中的文本与回答中的多模态信息的关联度。最后利用问题相似度分值、答案中的多模态信息与答案中文本的关联度分值和答案中的多模态信息与问题的关联度分值对答案的质量进行评价并得到排序结果。综上所述,本文考虑了社区问答答案中的多模态数据,针对社区问答中的跨模态答案发掘不同模态数据之间的关联性,构建了问题与答案中图片以及答案中文本与图片的跨模态检索模型,在此基础上提出来社区问答跨模态候选答案的排序方法,与现有的答案排序方法作对比实验,证明了本文提出的排序方法的有效性。