在移动互联网浪潮的推动下,微博微信等社交新媒体平台的兴起,使得网络信息传播迅猛。对话题传播规律的研究有助于帮助人们了解周围环境变化,维持社会稳定。如何能够从海量的社交信息中提取话题,并且根据话题对这些数据进行分类,是分析舆情信息的重要技术。本文针对海量文本数据,以主题模型为基础建立模型,设计并实现针对在线网络流数据处理的话题分析平台,利用话题模型并实现话题分析的算法,基于分布式的架构对大数据进行离线和在线的处理。为了实现以上目标,本文的主要工作有如下几个方面:1.基于统计学的话题模型来提取文本的话题特征,从参数化的LDA话题模型优化到能在线处理网络流数据的非参数化HDP话题模型。2.基于词向量和文档向量计算文档之间的相似度,进行文本聚类分析。分析词向量在自然语言处理和机器学习中的用途,以及词向量训练模型,同时将词向量扩展到文档向量,利用文档向量进行文档相似度计算。3.由于在线网络数据随着时间不断累积,系统将HDP话题分析算法,聚类分析算法设计成增量形式。进行这些算法是非常耗时,所以系统设计成分布式架构,多进程以及多线程并行执行分析算法。4.以微博为数据源进行试验,针对微博数据进行一些特殊的数据预处理,实现可扩展的框架来满足对其他数据源的支持。对数据的基本处理包括中文切分词,过滤停用词,词频统计,构建中文词典,对词进行标记。系统提供数据添加接口服务,从而能够集成到其他外部系统。设计并进行实验测试,在大数据规模下,针对在线社交网络进行舆情话题分析,满足分析的准确率、数据处理的实时性、以及系统可扩展性,并进行评估和分析。