基于云计算的海量数据分析系统的研究与实现

被引量 : 0次 | 上传用户:casoncai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的发展,数据分析在企业决策和产品设计中起着越来越重要的作用。产品设计者可以根据用户行为数据的分析,设计增加更能提高用户体验的功能和对其他部分功能做改进;企业决策层可以根据数据分析的结果决定产品定位和企业的发展方向。但是随着企业的发展、产品的增加和用户数量的增加等因素,使得数据总量随之剧增。面对数据数据存储、数据处理能力和性能等方面的挑战,传统的数据分析系统已经不能胜任对海量数据的分析处理工作。本文主要针对传统数据分析系统所面临的上述的一系列的挑战,结合云计算技术和Amazon提供的云服务,以及HBase数据库等应用,研究并实现新的海量数据分析系统。在研究工作中,通过对Amazon提供的EC2,S3和EMR服务的研究学习,以及对数据分析系统的客户端,接收服务器和数据处理服务器三部分职能的具体分析,创建该系统的初步模型;结合实际需求,分别对各个模块进行实现,并且完成整个系统的集成;通过系统测试和性能测试,验证系统是否能解决传统数据分析系统所面临的问题。研究贯穿了数据分析系统的分析设计和实现的全过程。首先是对课题的问题域和需求的提出。我们通过对传统的数据分析系统的研究和系统存在的问题的分析,提出基于云计算的海量数据分析系统的开发需求,明确新系统设计实现的重点是接收服务器和数据处理部分。其次是对海量数据分析系统各个模块进行设计和实现。最后是对系统进行系统测试和性能测试,从而验证了该数据分析系统是稳定健壮并且满足需求的。目前,云计算技术应用和数据分析系统都在处于蓬勃的发展期,本文通过研究云计算技术和Amazon所提供云服务的应用,并将成功的其应用到实际的企业级的数据分析系统中。实现了基于云计算的数据分析系统,以此解决了传统数据分析系统中所存在的问题,提高了系统的分析处理能力,并且节省了成本,缩短了开发周期。采用云计算技术之后,使得数据处理系统在分析处理数据的时候更加灵活,可以根据实际需要增加或减少数据处理所需的硬件资源。同时能节省硬件设备维护和存储数据备份所需的开支。无论从系统的数据处理性能和项目成本上来讲,云计算技术的应用都将是最佳方案。本研究通过实际项目成功证实和体现了云计算技术的优势。在云计算技术的研究和应用中,本论文具有一定的参考价值。
其他文献
由国土资源部土地整理中心、中国土地学会土地经济分会与南京大学共同主办的"全国农用地定级估价与应用学术研讨会"于2009年12月11日至12日在南京大学举行。来自国土资源部土地
目的探讨慢性肾衰竭(CRF)维持性血液透析患者血清甲状旁腺激素( PTH)水平与机体营养状况的相关性。方法78例 CRF 维持性血液透析患者为观察组,同期80例健康体检者为对照组;采用微型
运用探索性(EFA)和验证性因素分析(CFA),对体育公共服务满意度进行变量间潜在因素重构,结果表明:重庆市城镇居民体育公共服务满意度含6个维度,它们对总体满意度的贡献率依次
计算机视觉(Computer Vision)是研究如何使计算机对图像数据产生智能化感知的一门学科。运动物体识别、检测与跟踪有广阔的运用前景,是计算机视觉研究的热点和重要领域。运动物
随着三维显示技术的快速发展,越来越多的新技术被应用于三维显示设备中。主动切换式液晶透镜三维显示是近年来发展较快的一种新型裸眼三维显示技术,具有高透光度、低功耗、二维
随着计算机网络的迅速发展和日益普及,网络对于国家、企业、个人的重要性越来越大,网络的规模也越来越大。伴随着的网络安全问题也成为影响国家和企业发展的战略要素之一。针对
搅拌摩擦焊是一种有效的固相连接方式,广泛应用于铝合金的焊接。本文采用数值模拟的方法,基于计算流体力学理论建立了搅拌摩擦焊过程的单相流动模型,连续流体和固相颗粒的两相流
微博诞生至今,已经成为了互联网用户使用最多的网络应用工具之一。在国外,以Facebook、Twitter为代表的社会化网络应用正发展为企业营销的新渠道。大量的成功案例促使国内企业
将黄瓜津优1号、津优1号与黑子南瓜的嫁接苗和黑子南瓜种在网室中的消毒泥炭钵内,用LI-6400光合系统和2D-E电泳技术分析了这3种处理的根系活力、净光合速率和蛋白质的表达差
在金融危机的冲击下,美元的国际货币霸主地位逐渐松动。随着中国政府推出的一系列人民币国际化策略之后,人民币国际化成为国内外经济学界关注的焦点,其进程改如何推进以及能否顺