基于Storm的微博互动平台的设计与实现

被引量 : 28次 | 上传用户:yutianfeipao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
过去的十年是数据处理变革的十年,海量的数据对业界的工程师们提出了巨大的挑战,大数据处理、存储技术应运而生。MapReduce、HDFS等相关技术使得前所未有的大规模数据存储和处理变成可能。但这些处理数据的技术并非为实时处理大数据而设计。随着业务的快速变化、商业模式的不断创新、用户体验个性化、实时化需求的日益突出,海量数据实时处理在商业方面的需求越来大,“实时Hadoop”方面的空缺已经成为大数据处理生态系统中最大的漏洞。而Twitter公司开源的分布式、容错的实时流计算系统Storm则正好填补了该空白。如何运用实时的、分布式的数据流处理框架Storm来提高系统的性能和数据处理的效率,是本论文要探究的问题。本文以研究生期间参与的研究项目“一找微博互动平台”作为研究对象,深入了解和分析系统存在的数据处理耗时长、资源利用率低等问题。论文使用软件工程的方法,运用迭代式敏捷开发过程和面向对象分析设计等技术,从需求分析、概要设计、详细设计到系统的具体实现和部署等环节进行描述,并介绍了系统的设计与实现过程中运用的各种技术和方法,设计和实现了一个基于Storm的实时数据分析处理系统。最后通过实验,对Storm实现的数据处理系统进行性能测试和水平扩展性测试。根据实验结果和实际应用效果,基于Storm实现的数据分析处理系统,相比基于传统方案实现的数据分析处理系统在效率、实时性、可伸缩性和可用性方面都更具优势。
其他文献
政府部门在我国体育公共服务供给上采取包办的单中心模式已不能满足社会公众多样化的体育公共需求。在此背景下,上海市杨浦区调动辖区内各方面资源,在高校体育场馆向社会开放提
房地产投资信托(REITs)是国际社会普遍认可的行之有效的房地产投融资工具。美国是房地产投资信托发展最前沿的国家,这与其每次税制改革的推动有极其密切的关系。我国的房地产投
人力资源是国有企业资源中非常重要的组成部分。人才流失是无形资产的流失,其造成的影响会直接影响到国有企业的生存与竞争实力。本文针对国有企业的现状进行分析,并抓住国有
随着电力系统的发展,电力系统对电力开关的要求越来越高。在中压直流电力系统中,短路电流的预期值很大,现有的直流断路器难以分断短路电流,需要采用限流型断路器。限流型断路器对
心理契约是个体以雇佣关系为背景,以许诺、信任和知觉为基础,形成的关于双方责任的一种理解或信念。本研究对210名知识型员工开展心理契约问卷调查,通过SPSS统计软件对样本数
一个企业的财务报表是通过实际的会计信息来综合反映其生产经营活动的重要依据。但是财务报表只是简单的数据的罗列,要想充分了解企业的财务状况和经营成果,财务分析就显得更
怎样完善和加强事业单位的岗位绩效管理制度,完善绩效工资的实施以及评估工作,是当前我国事业单位绩效工资在实施过程中所需要关注的重点问题。本文主要就当前我国事业单位进
非法证据排除规则的确立和发展对世界各国的刑事司法制度产生了重要影响,现在已经普遍存在于英美和大陆两大法系各主要国家和地区,并且成为了一项世界性国际化的刑事司法规则。
目的探索一种具有较小组织变形与良好定位效果的小鼠视网膜固定方法。方法 BALB/C小鼠30只,随机分为3组,每组10只,处死后取眼球。A组在体积分数分别为55%、75%、95%乙醇中各
总结了178例采用中医外治联合疗法治疗麦粒肿的疗效观察及护理,主要包括采用心理、起居、饮食等方面的护理。认为中医外治联合疗法疗效较好,在治疗过程中,护士为患者提供优质