基于Hadoop平台的云计算构建与日志分析

来源 :哈尔滨理工大学 | 被引量 : 0次 | 上传用户:tianwang800
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算是一种新型计算模型,它将计算任务分布在大量计算机构成的资源池里,使用户能够按需获取计算能力、存储空间和信息服务。与传统的数据处理模式相比,云计算技术可以有效解决大规模数据处理面临的性能瓶颈问题,提高了数据处理的可靠性及可扩展性,提高了数据处理能力的同时降低了计算对硬件设备的要求。本文对云计算概念、种类、关键技术等进行了重点研究。Hadoop是一个开源分布式计算平台,它专为处理大规模数据和分布式计算而设计,是实现云计算的主要可选方式之一。Hadoop平台具有高效、可靠、扩展性强等特点,它的两个主要组成部分是Hadoop分布式文件系统HDFS和并行处理模型MapReduce。本文对HDFS的几个方面:设计前提与目标、体系结构、保障可靠性措施和提升性能措施以及MapReduce的几个方面:逻辑模型、编程模型、实现机制以及执行流程的细致分析和研究。在分析了原有海量数据处理系统之后,结合云计算技术和Hadoop的优势,建立了一个新的数据处理模型,依据该模型搭建了系统平台,并使用Web日志作为源数据进行了平台上的性能分析。通过实验对比,总结了利用云计算技术,使得日志分析过程在消耗时间上大大缩短,并且随着数据量的增大,Hadoop平台的处理能力和数据存储能力也在适应着数据量的变化,恰恰体现了云计算技术在处理大规模数据时计算能力、存储空间等按需提高的优势。基于Hadoop平台的云计算环境在处理大规模数据方面解决了传统数据处理方法计算能力与存储能力的性能瓶颈问题,并且良好的可扩展性使得这种能力可以灵活的使用。
其他文献
复合土工膜作为一种质优价廉、取材便利的新型土工合成材料,在目前新疆水利工程建设中的应用已日趋成熟,但在应用过程中还存在诸多影响复合土工膜防渗质量的问题,本文重点介
农户是耕地利用主体,研究其视角下的休耕意愿和不同模式的受偿标准,对政策推行有实际意义。以太行山北麓平原、黑龙港地区为例,调研走访农户分别得到81份和148份有效问卷,通
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
清代乾隆年间始设茶宴,于每年正月初二至初 十之间举行,多在重华宫,时也在圆明园的同乐园 等处进行。茶宴以赋诗联句为主,入宴人要必备良 好的文学造诣。乾隆初期入宴人数没
随着社会生产和生活用供电量的增加,火力发电站经营管理中的诸多隐患也逐渐暴露出来,安全事故常有发生。因此,必须加强火力发电厂安全管理。文章以火力发电厂的安全管理为研
国家自然科学基金是体现学科研究水平与发展方向的重要标志。以2004—2015年风景园林学科国家自然科学基金资助项目为对象,分析了项目的资助数量、资助单位与研究主题,以期为
“坐雨观泉”作为中国古典园林因雨成景的局部创造性理法,既体现了传统园林中雨水利用与瀑布水景营造相结合的经典设计手法,也在一定程度上体现了现代场地尺度下雨洪管理与景观
山城步道,在山地城市中自古以来就是人们生活出行的主要交通工具,然而,在现代机动交通盛行和城市更新步伐加速背景下逐渐遭到破坏和埋没。山城步道,蕴藏了浓厚的历史记忆,积
建筑业是一个工伤事故高发率的行业,而事故受害人多数为农民工。如何保证农民工在遭受工伤损害后获得及时有效且合理的赔偿,使其获得公正的对待,是我国目前司法实践中亟待解决的
长期以来,农民问题是影响我国现代化建设的关键性问题。然而二元经济结构造成我国县域农村经济远远落后于城镇经济,公共事业建设方面也要落后于城市。县域农村公共产品供给不