如何评估一个词对于文件集合中的一个文件的重要程度是大数据处理系统面向文本挖掘领域中的一个比较关键的问题。词频-逆向文件频率(TF-IDF:Term Frequency-Inverse Document Frequency)是一种用于文本检索与文本挖掘的常用加权技术,其广泛应用于搜索引擎系统。目前基于大数据处理系统实现TF-IDF算法实时计算开源界还没有成熟的解决方案,更多是被商业公司掌握,技术不对外公开。论文首先介绍了大数据系统的相关技术及其国内外发展现状,详细分析了大数据分析处理流程和TF-IDF算法。接着,搭建了流式处理计算平台JStorm,设计实现了基于JStorm计算平台的TF-IDF低延迟算法;搭建了批处理框架Spark,设计实现了基于Spark计算平台的TF-IDF批处理算法;论文最后进一步提出了批处理视图和实时计算视图集成算法,构建了批处理与实时计算融合架构,改善了计算精准度和实时性,并通过实验测评验证了系统的功能完备性和计算速度的优势。论文的研究成果已经得到实际应用。论文的研究成果初步解决了在大数据实时处理系统上实现TF-IDF算法应用的问题,基本实现了低延迟和准确率都达到预期的程度,满足搜索引擎、文本相似度计算、情感分析、文本摘要、热词计算等应用场景在海量数据生产环境中应用TF-IDF算法。