论文部分内容阅读
随着信息化技术飞速发展，爆炸性数据的增长以及数据的多样化给大数据检索带来了挑战。MapReduce作为一种并行处理框架，在大数据处理上具有明显优势。为此，结合概念格的相关知识，采用形式概念分析发现文档之间的关系并用格进行表示，提出一种新型的支持大规模文本检索的形式概念索引结构，给出基于MapReduce框架建立概念索引的相关算法。通过与Lucene索引进行比较，验证了所提索引的有效性。实验结果表明，将文档之间关系采用概念格表示并建立概念索引，能够提高大规模文本检索的性能。