大数据系统性能优化机制的研究与应用

来源 :北京邮电大学 | 被引量 : 1次 | 上传用户:edisonye
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网、传感器等技术的迅速发展,数据产生的速度越来越快。伴随着数据的爆炸式增长,人们步入了大数据时代。在大数据时代,面对海量数据,人们需要通过各种手段和工具对数据进行快速的挖掘分析,以发现其中蕴藏的巨大价值。但是随着大数据系统中需要存储和处理的数据量的不断增加,系统的某些性能问题日益突出,导致系统处理速度下降,不能及时的返回处理结果。严重时,甚至导致系统不能提供服务。为了提升系统性能,需要根据大数据系统的架构层次,从多个方面进行优化。大数据系统性能优化是一个非常复杂的工作,涵盖了系统的许多方面,因此,在系统的优化过程中需要考虑到影响系统性能的所有因素。本文在研究大数据系统架构以及相关技术的基础上,从系统开发应用的实际情况出发,针对大数据系统的从以下四个方面阐述系统性能的优化机制:数据收集优化,数据处理优化,数据库优化,WEB服务器优化。这四个方面涉及到了大数据系统架构中的多个层次的优化。论文针对某影视大数据系统存在的性能问题,详细的说明了其具体的优化过程和技术细节,为大数据系统优化提供一个可参考的方法,并使用测试工具对优化后的系统性能进行测试。
其他文献
责任会计是为了控制各责任中心的职责履行情况,确定其相关经济利益,评价考核其经营业绩的会计制度.本文叙述了责任会计在现代企业应用中存在的问题及对策.
岩体冻融损伤机制为温度降低使岩体中的水发生相变、体积膨胀、产生冻胀力的作用,岩体中的微裂隙在冻胀力的作用下扩展延伸,温度升高时,融化的水进入新的裂隙,冻结成冰再次产
笔者针对我国政府统计过程质量控制问题的现状。以建立一套有机的统计过程质量控制体系为目标,对我国政府统计过程质量控制实施决策模型进行了研究。研究在分析QFD理论体系结
随着社会发展和人们对美好生活的追求,生活品质不断提高,生态、绿色、健康食品越来越受社会接受,为适应社会需求,粮油保管需改变原有保管方式方法,利用现有科技手段改变储粮
责任会计是企业内部管理控制会计,主要利用价值形式,通过建立各级责任中心、目标管理、差异分析、责任传递、编制责任报告等方法,对企业内部生产经营活动过程中的耗费、占用
本文采用2007年北京市居民活动日志调查数据,对北京市居民家庭工作日出行碳排放进行了测算,采用离散标绘、分等定级和洛伦兹方程模拟的方法,分析家庭日常出行碳排放的个体间
随着改革开放进程的不断深入以及国家对外贸易政策的逐步放开,传统型外贸企业在市场竞争中丧失传统的竞争优势。在新形势下,传统型外贸企业要求得生存和发展,就要开拓新的思路。
目的:了解北京市通州区副溶血性弧菌的耐药情况,用以指导临床治疗用药及防控措施的制定。方法:选取通州区2009-2011年在食品监测和门诊病人中分离收集的60株副溶血性弧菌,采用
从新石器时期的漆器到夏商时期的绿松石镶嵌青铜及象牙器,以及不同时代、不同介质上的彩绘这些古代文明的代表作无不和有机胶合材料息息相关。
宗白华《中国艺术意境之诞生》的初稿与增订稿,有很大的不同。增订稿以浓厚的中西比较意识,突出强调了意境的精神向度。当宗白华将意境视为'使人类最高的心灵具体化、肉