基于Hadoop/hive架构的网络身份识别系统的设计与实现

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:yiran87
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人们对网络和通信的依赖日渐增长,维护网络信息的安全以及用户的合法权益日益重要。而网络的开放性、虚拟性和不确定性无疑给这项工作增加了一个不小的难题。网络身份的绑定成为必然。每个用户常见的网络、通讯行为有邮件通讯、微博发表、短信通讯以及电话通讯。每个用户在四个系统中分别对应一种身份,把四种身份绑定,确认用户的现实身份,使得网络社会和现实社会同样受到监督与保证,维持网络秩序。由于数据源众多以及各个系统的用户繁多、操作频繁,每日产生TB级甚至PB级的海量数据,传统的关系数据库以及不能满足数据的存储分析处理的要求。本系统利用Hadoop/hive分布式计算平台的高可靠性、高扩展性、高效性以及高容错性,对用户的基础信息、特征行为等进行分析,在功能实现的基础上展现出数据处理很高的效率。本文在实际系统开发的基础上,综述了一种基于Hadoop/hive架构的网络身份识别系统设计与实现的开发方案。将各个数据源的原始数据利用MapReduce进行层层清洗后,装载入一个新建的基于事件的数据仓库。随后,利用HiveQL语言,在专业工作流控制工具的控制下,根据用户要求完成数据的分析处理工作。最后,将数据分析结果展示给用户。该系统的功能已经部分投入使用,经过实际验证,其各项性能指标均达到用户要求,有很高的实用价值。
其他文献
目的:探讨心脑合病的病因、证候分布特点及证候要素构成,各证候要素间相互兼夹、转化、演变的客观规律,为制定心脑合病中医辨证标准提供量化参考与依据。材料与方法:依据临床流行
辅导员是学生思想政治工作第一线的组织者和教育者,辅导员队伍是学校事业发展不可或缺、不可替代的重要力量。在新的历史条件下,辅导员如何适应形势发展的客观要求,做到与时
汉语拼音在对外汉语教学中有着十分重要的作用。汉语拼音给对外汉语教学有促进作用的但同时也带来了一些负面的作用。汉语拼音对语音教学、听力口语教学、汉字教学以及语法和
时代的融合抵挡不住文化的相似性,任何一个文学主题背后都有它对应的文学母题。悲剧成为大众夸夸其谈的代名词。19世纪法国现实主义作家福楼拜以《包法利夫人》设下一个理想
燃气舵是诸多推力矢量控制方法中的应用较广的一种。针对高温合金燃气舵质量重会降低弹箭工作效率的问题,本文对碳/酚醛复合材料在燃气舵中的应用展开研究,以实现燃气舵的轻
为了在未来发生战争时能及时有效地清除机场跑道地下深5m内的未爆弹药,在侵彻3m深制式产品的基础上,通过聚能装药侵彻性能理论计算和ANSYS/LS-DYNA软件仿真分析,并进行优选,
中小学法制教育是依法治国、建设社会主义法治国家背景下,我国国民素质教育的重要内容,也是当前预防未成年人犯罪的有效措施,具有重要的战略意义。然而,当前的中小学法制教育
从火焰纹的概念出发,探寻火焰纹的起源;从火焰纹的历史沿革入手,揭示了火焰纹的发展演变及其寓意,探寻火焰纹艺术符号的深层内在情感。火焰纹是中国传统纹样中常用装饰纹样的
长期以来 ,传统的观点认为西方的民权思想自古希腊产生到文艺复兴之后的全面发展之间存在着一个断层 ,即神权政治时期 ,但我通过对中世纪西欧社会文化、政治关系和基督教文化
随着集成电路工艺的不断进步,集成电路的设计变得越来越具有挑战性。目前集成电路的设计一般通过人工设计方法实现,需要较多的时间和成本。智能优化算法是以自然界生物群体所表