互联网作为继报纸、广播、电视之后的“第四媒体”,已经成为公众表达观点与传递声音的重要窗口之一。相比传统媒体,网络在传播方面具有天然优势,这使得网络热点或议题一旦产生,舆情就会“病毒式”地在互联网上传播扩散。在此背景下,对网络上的新闻数据进行采集、处理及分析,获取网络舆情相关信息已经成为自然语言与数据挖掘等多个领域的热门研究内容之一。本文的研究重点为:使用基于增量的聚类算法来检测网络空间中的舆情热点话题和结合词语的语义信息和统计信息综合地对文章进行关键词抽取。在文本建模中,本文在传统的TF-IDF算法的基础上,增加了对特定词性和词语长度的权重,能更好地区分不同新闻文档描述的新闻事件。针对网络新闻报道具有动态性和时间性,本文按时间顺序将热点检测任务分割成多个时间片段,经过初次检测和话题合并两步得到最终热点话题。改进后的Single-pass聚类算法使用质心向量来计算相似度,以减少聚类过程中的计算量。此外,针对传统关键词抽取技术在网络舆情应用的不足,本文在基于主题模型的关键词抽取上,加入统计特征,综合地筛选出最能表达网络新闻内容的词语的关键词。本课题是基于Hadoop平台的网络舆情热点检测,在数据采集、预处理和热点检测(聚类分析)等多个部分使用了 HDFS和MapRedcue并行计算框架等大数据处理技术,有效的解决了传统技术处理海量文本数据的不足。