以长文本为基础的文档检索在许多领域中有广泛应用,如面向科普,知识文献,新闻,影视,文学作品等内容的搜索。长文本文档相对于短文本具有信息丰富且冗长的特征,文本词汇的表征能力不一,内容叙述中可能涉及到多个方面。这些特性导致文档检索存在两个问题:一是索引表中占用空间大且含有大量低效索引词,低效索引词指的是出现在许多文档中的非关键性词汇,它们会导致检索结果中出现较多与查询词无语义关联的文档;二是查询语句与长文本中的句子往往不是全部相关,检索过程中某些文档可能存在查询相关词语出现低频且分布均匀的现象,影响文档的相关性评分。因此,针对文档检索,索引构造和相关性分析具有进一步的研究价值。本文探讨了长文本索引和内容相关性评分中存在的问题,提出多种解决措施,通过优化索引结构加快候选文档结果集的搜索过程,并采用文本片段化机制(Text Snippet Mechanism,TSM),进一步从候选文档中筛选最终结果,提高检索结果的准确性。主要研究内容如下:(1)针对长文本库索引存在的低效索引词和语义关联缺失问题,本文提出基于关键词抽取和关键词扩展的索引构建方案,首先,采用Text Rank技术,根据文档的图结构信息精选词语集合,作为索引词集;接着,针对精选出的词语,采用Apriori关联规则挖掘算法在语料库(即文档集)中发现与它们语义关联的词语,作为它们的查询扩展词。这种策略有效的削弱低效索引词的影响和提升了补充语义关联词的能力。(2)针对长文本检索过程中匹配规模和资源调用所带来的查询效率问题,本文提出DLET和Ratio＿block两种基于块索引结构的文档检索方法,采用了提前终止思想。块索引的存储结构为基于索引词的固定长度块列表,块列表中的每一记录元组由包含索引词的文档编号和索引词与该文档的相关性分数组成。索引表中对块列表的记录按照相关性分值由高到低排序,并记录块列表的上限值(最大相关性分值)。将块列表按照上限值排名并采用其中一种处理方法获取候选文档结果集。在搜索过程中,DLET动态更新前几名文档的累加分值,当结果不再发生替换时即终止搜索;Ratio＿block按照排名截取一定比例的块列表,只有截取的块列表中的文档参与相关性计算与排序。实验结果说明DLET和Ratio＿block两种方法都加速了候选文档的检索效率。(3)针对文档检索中文本过长可能带来的相关词语出现低频且分布均匀的问题,本文提出了一种文本片段化机制模型TSM,首先针对基于块索引结构查询获得的候选文档划分片段,再通过计算查询语句与文档片段之间的相关度,筛选出关键的文本片段和得出相关片段比率,综合这些片段信息计算查询与候选文档之间的最终相关性得分,从而获取Top-k结果集。实验结果验证了TSM进一步提升了检索的精确度。