基于内容的互联网舆情信息挖掘关键技术研究

被引量 : 0次 | 上传用户:chinaprogram
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
日益丰富的网络信息和民众日益复杂的网络行为,使网络准确反映和记录着现实社会的各种舆情动态。加强网络管理,组织力量开展网络舆情信息的挖掘,将话题检测、倾向性分析、敏感信息监控等技术应用于检测互联网上民众关注的热点话题、分析民众对事件的态度倾向、监测对相关部门造成威胁的负面信息、过滤网络不良信息等,对维护社会稳定、社会公共安全、构建和谐社会具有重要的现实意义。由于舆情信息的动态性、随意性、表现方式的多样性等特征,使得舆情信息挖掘在网络话题检测、舆情信息倾向性分析、网络舆情信息监控等方面存在一些挑战性的问题:(1)现有话题检测算法无法同时满足准确性、实时性、话题层次结构聚类的舆情热点检测要求;(2)现有文本情感表示方法存在语义信息大量丢失的问题,降低了倾向性判别的精度;(3)现有敏感信息监控模板更新优化困难及现有被过滤信息权重计算方法存在忽略文档特性的问题。本文针对话题检测、倾向性分析、敏感信息监控等舆情信息挖掘关键技术中存在的以上问题展开研究,本论文的贡献主要包括以下三个方面:(1)针对现有网络热点话题检测算法无法同时满足舆情热点检测准确性、实时性、话题层次性聚类的问题,提出基于改进single pass增量聚类算法的层次话题检测方法,并利用舆情评价指标分析话题热度,实现网络热点话题的及时、准确检测并呈现其话题的层次性结构。本文提出的层次话题检测方法利用重构后的舆情信息文本结构特征改进single pass增量聚类算法,有效克服现有话题检测方法不能同时满足舆情热点检测准确性、实时性、话题层次聚类的问题。此外,本文利用浏览量、回复量等舆情信息评价指标构建话题热度分析方法,有效地识别网络中的热点话题。实验结果表明,该方法能及时、准确的发现互联网中的热点话题并展现话题的层次性结构。(2)针对网络舆情信息倾向性分析中语义信息大量丢失的问题,提出基于词序列核的舆情信息倾向性分析方法,提高了倾向性判别精度。本文提出了基于改进词序列核的舆情信息倾向性分析方法。该方法利用文本情感特征的统计信息和顺序结构信息,对文本情感语义信息进行深层次的挖掘,构建了基于后缀树的文本情感表示模型,并利用词序列核直接对后缀树情感表示模型进行计算,得到在特征空间中的相似度,从而完成后缀树表示模型与支持向量机分类模型的融合,生成基于词序列核的支持向量机分类器。该方法克服了当前文本情感表示模型中语义信息缺失的问题。实验表明,该方法能够更精确的完成舆情信息倾向性分析。(3)在基于内容的敏感信息监控中,针对过滤类别模板固定而且难以优化的问题,提出了一种基于动态遗传算法的模板生成方法;针对被过滤信息在长度、包含的语义等方面存在较大差异的现象,提出了一种基于文档特性的权重计算方法,提高了敏感信息监控效率。本文提出的基于动态遗传算法的敏感信息过滤方法,通过自动优化克服了传统过滤方式中模板一旦生成就很难改变的问题,提高了过滤精度。该方法首先将经过挖掘处理的网络舆情信息文本进行切词、权重计算等预处理,形成特征项及其权重组成的向量;然后将经过预处理的文本形成遗传算法的基因串并进行选择、交叉以及变异等遗传操作,最终选出优化的文本向量;由于实验过程中发现遗传算法存在随意性,使得操作过程容易陷入局部最优,因此引入遗传算法参数的动态调整策略,动态调整遗传算子,寻找遗传算法最优解;同时在匹配阶段还对被过滤信息提出了结合文档权重、位置权重等文档特性的权重计算方法。实验表明,基于动态遗传算法的敏感信息监控方法能够得到更好的处置模板,提高敏感信息监控效果。
其他文献
伴随着全球经济的快速增长,能源消耗与环境污染带来的环境问题引起了世界范围的广泛关注。2009年哥本哈根气候大会再次让世界的目光聚焦到全球气候变化问题上,发展低碳经济成
美术教育是实施素质教育的重要途径,在促进人的全面发展方面具有独特的作用。在传统美术教育模式的基础之上,通过人性化的情感注入,使学生审美能力和感性思维能力得到提升,从
论国有商业银行投资银行业务拓展付永德玄昌云田玉清近几年来,我国资本市场得到了长足发展,企业购并、重组之势方兴未艾。作为商业银行为资本市场服务重要途径的投资银行业务,是
乔伊斯·卡罗尔·欧茨(Joyce Carol Oates,1938-)是美国当代最著名的女作家,她对美国社会现实的无情揭露和美国大众心理的深入挖掘对美国文坛造成过重大影响,另外她所创作的
食品安全具有效用不可分割性,消费非竞争性和收益非排他性,因此食品质量安全具有公共产品性质。作为世界人口大国,我国的食品供应无论在是满足国内需求还是在对外出口创汇都
作为世界上领土面积最大的国家俄罗斯,由最初的弱国崛起为沙皇俄国时期的欧洲大国,再由欧洲大国发展为世界上第一个社会主义国家,并崛起为世界超级大国。然而,这个世界超级大
保健食品在我国有着悠久的历史。我国自古有“药食同源”之说。因此中医单纯使用食物,或食物与药物相结合来进行营养保健、调理康复的情况极其普遍。蜂胶、蜂王浆作为我国传
研究目的本研究通过调查邢台市不同规模和级别的五家医院,分析医院护理人才队伍建设的现状,发现邢台市医院护理人才队伍存在的主要问题及原因,探索可能的解决措施和对策,为卫
1968年,美国著名学者杰·唐纳·华特士首次明确提出生命教育的思想,随后主题多样的生命教育在各国广泛展开,我国从国家到地方对生命教育也有所重视,本文拟从哲学课中如何渗透
迟子建是当代文坛中的一位个性突出的作家,她的小说创作别具一格,吸引了众多读者和学者的关注。目前,国内关于迟子建小说的研究有很多,但是从语言学的角度进行研究的还为数不