随着科技的迅速发展,网络已成为中国公众表达民意、讨论公共事务、参与经济社会及政治生活以及进行舆论监督的重要公共平台,伴之而来的是政府有关部门对网络舆情的管理问题,如何能够及时发现舆情热点、正确引导民意走势是当前急需解决的难点。舆情挖掘技术就是在这种背景下应运而生的,传统的信息挖掘技术分为互联网内容挖掘、日志挖掘、超链接拓扑结构挖掘三种。随着信息多元化的增长,舆情信息的挖掘往往是针对受限领域和面向特定主题的,而单一挖掘(如PageRank,HITS)引擎的召回率和精确率都是很低的,显然已经不能满足用户对特定主题更深入的挖掘需求。因此,本文中将Web内容挖掘与超链接挖掘相结合,将文本相似度计算技术引入到PageRank算法当中,构成了基于余弦相似度计算技术的Cosine Similarity PageRank(CSP)算法。经过多次实验比较,发现CSP算法在优化整个网络的PageRank值上有更明显的效果。本文以CSP算法为核心,构建了包含挖掘模块、挖掘策略管理模块、用户管理模块、故障管理模块四大模块的网络信息挖掘系统,系统主要完成网页邮件等网络媒介的舆情挖掘、文本分类、概念聚类、相似度分析、自动文摘、优化排序等任务。系统在经过主题确立、优化初始种子等挖掘策略后获得舆情资源,并通过文本分析技术进行特征提取,生成舆情信息文摘,接着采用文本分类技术来进行文档自动分类,将分类后的文档进行概念聚类,产生概念空间,然后采用神经网络算法建立具有联想功能的语义索引,最后为用户提供基于概念空间的检索查询接口,并通过事件处理提供舆情事件的发展过程及来龙去脉,为有关部门及时、合理的监管舆情信息提供了合适的平台。