随着Internet与数字化趋势的高速发展,用户或者数字化系统产生的计算机数据呈现爆炸式的增长。同时,随着Web技术的高速发展,计算机也正在从传统的单机服务方式转向Web方式的集中式服务。另一个显著发展的趋势是,在我们的生活中,非结构化数据正变得越来越多而且越来越重要。在这些发展趋势下,对于海量非结构化数据的集中式高效处理与管理就成为了一个非常迫切的需求。MapReduce是Google提出来的一个编程模型,是一个分布式计算框架,被用来处理和生成大数据集。MapReduce程序在计算机集群环境下并行地执行任务,有着极高的可扩展性。并且为开发人员隐藏了分布式系统底层的细节,使得分布式计算程序的开发变得简单高效。本文结合当下流行的MapReduce分布式计算框架实现了对海量非结构化数据进行解析,信息抽取,及建立全文索引的这一功能模块。使得全文索引模块能够充分利用计算机集群的处理能力来高效的处理海量非结构化数据。除此之外,本文还完成了对MapReduce程序模块进行深入的性能测试与性能调优。使模块的性能得到了极大的提高,并且总结了一些在特定条件下的调优策略。最后本文利用实现的全文索引模块构建了其上层的应用——“浙大文库”,来展示基于MapReduce的全文索引模块对上层应用开发的强大支持能力。