基于大数据的社交媒体区域监控技术研究

被引量 : 0次 | 上传用户:hacker01
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
社交媒体是重要的互联网传播形式,用户通过Facebook、Twitter、新浪微博等网络媒体平台可以分享观念、看法和态度,形成巨大的社会影响力。通过社交网络发动示威游行、颜色革命和政治斗争,正成为互联网上难以发现的社会活动,造成了潜在的社会和政府管理风险,需要使用特定技术手段对社交媒体进行监控管理。社交网络的信息产生快速,数据量巨大,同时内容传播范围突破了传统媒体的时空局限性,已有的网络舆情监测系统无法满足海量数据的采集、存储和分析需求。基于这些问题,本文基于大数据技术设计社交媒体的分布式舆情监测系统,实现了Hadoop框架下文本数据的采集、存储和分析过程,并使用网络监控技术实现区域性监控。在充分研究舆情监测系统的基础上,设计了以Hadoop为基础的监控系统的结构模型,该模型以层次化的方式运用不同的大数据技术解决相应的监控问题。实现了符合MapReduce编程模型的采集系统和海量数据的存储模型;综合利用字符串匹配算法、分词技术和词频算法,实现分布式环境下的数据分析模型。整个监控系统具备完成的大数据功能和数据分析能力,能够作为不同监控目标的实现基础。
其他文献
近年来,国内LED行业的市场总产值逐年上升,保持着年均30%左右的增长速度,预计在2015年,全年总产值将突破5000亿元,市场前景十分广阔。SDKE公司是一家以LED芯片封装为主的中型
本文从数学角度出发,分析了现代投资学中的投资组合理论。主要内容包括用广义逆矩阵方法对最优组合进行求解,以及给出投资组合两个重要特征的证明,即有效组合的组合仍然有效
随着风电行业的快速发展,风电机组的单机容量越来越大,叶片长度也越来越长,辐射噪声水平也随之快速增加。已有研究和分析表明,现代大型风电机组的主要辐射噪声来源于叶片的气
<正>甲鱼是我国传统的美食补品,甲鱼在市场上的食用消费多少,既平衡着养殖生产,也推动着市场和产业的发展,然而甲鱼市场的动荡不稳,仍是影响我国甲鱼产业发展的主要因素,所以
随着道路条件的改善和能源危机的加剧,微型纯电动车越来越受到人们的关注。但是续航里程太短一直制约着电动汽车发展,如今在解决续航里程不足的问题上,电池技术很难有新的突
自党的十六大召开以来,我国县域经济迅速发展,从而带动国民经济强劲增势,为我国GDP和财政收入快速提高做出了积极贡献。因此,内蒙古自治区政府也十分重视本地区县域经济发展
3G通讯时代的到来,使微博成为当下热门的传播媒体。越来越多的人开始认识微博,使用微博,并逐渐把微博视为发布和获取信息的渠道。在突发性灾害事件频发的今天,微博以其独特的
现代企业及项目的管理过程中,创新已成为支撑企业不竭发展的源动力,以不断创新的思维贯穿在整个管理的演进中,才能使得企业的发展升级贴合于市场环境和经济状态的不断变迁,才
平行跑道独立平行仪表进近是多跑道平行运行时效率很高的一种运行模式,但此模式下的航空器出现TCAS告警的频率较高,影响飞行安全。本文主要从平行跑道独立平行仪表进近运行情
甲鱼(中华鳖)养殖业在我国发展很快,伴随而来的是近两年其产品价格的下滑。市场的剧烈变化,深受人们的关注:一是价格下跌,使甲鱼能有更多的机会走进寻常百姓家,丰富了“菜蓝子”,对消