Web2.0时代下,互联网已成为人们思想交流与互动的重要场所。网络社区作为其中一种交流形式,逐渐融合到人们的现实社会中,并成为生活密不可分的部分。在网络社区中,人们可自由抒发情绪、表达观点,通过兴趣聚合形成话题与社群,网络社区是形成网络舆情的关键途径。针对网络社区中不良现象的监测与治理,对维护网络健康发展尤为关键。因此为了实现有效的实时监测,避免信息快速传播导致负面舆论扩大的风险,需要对网络社区数据进行实时的分析、挖掘与处理,达到分析准确的同时保证信息时效性。网络社区产生的数据具备大数据、实时性的特点,从网络社区快速、高效的获取实时数据及分析结果势必需要大规模实时流数据处理技术。在研究和对比国内外几种流行的流数据处理技术的基础上,采用流数据实时处理框架Storm,设计并实现了针对网络社区特点的流数据实时处理系统。通过数据接入层、实时处理层、数据存储层三个层次,同时搭建分布式集群以实现海量流数据的实时获取、分析、处理和存储。此外,实现了数据处理可信,一方面,在数据接入层中实现消息队列的数据重传与数据备份机制,保证接入层数据的可靠性;另一方面,改进Storm的滑动窗口机制和ACK机制,为实时处理层中的未处理数据提供备份与恢复措施,保障数据的可靠处理。针对网络社区数据实时处理需求,系统设计并实现了热帖统计、热词统计、新帖统计、帖子内容过滤、实时话题发现等一系列功能,并在Web页面中对处理结果进行可视化展示。将该系统应用在高校BBS中进行实验分析,证明该系统可以对流数据实现实时的获取、分析与挖掘,并达到良好的流数据实时处理效果。