大数据平台下数据缓存性能优化

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:spring19760128
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
借助互联网的发展,数据以爆炸性的方式增长。社交网络、物联网和车载网络的流行,使非结构化、半结构化数据在数据中心中所占的比重越来越大。大数据技术应运而生,发展迅速,深度影响着互联网产业的格局,是又一次信息革命的浪潮。大数据技术中具有典型代表是Hadoop开源框架,各种公司、开源团队、研究机构对于Hadoop的扩展研究非常活跃,推出了很多支持批处理、流处理、实时处理的大数据平台。本论文阐述了大数据实时查询平台的设计原理,重点描述了基于Mem cached的内存优化方案。针对Memcached存在的热点问题和单点失效问题,进行系统分析,并且提出基于热点的动态调整策略。本论文的研究成果具有重要的理论价值和实践价值。从理论上看,由热点引起的负载不均衡问题普遍存在于分布式系统中,例如在云计算系统中需要考虑各个节点的CPU和内存的利用是否均衡,论文提出的基于热点的动态调整策略对于分布式系统的优化具有学术参考价值。从实践上看,该策略的实现成功加速了我们设计的大数据平台的查询处理速度,证明了该策略对于构建高效的大数据平台具有实践参考价值。
其他文献
当前,大学生就业形势随着时代的变化也在发生着改变,大学生的就业价值观念也应该适时做出调整。文章主要分析了当代大学生就业价值观的突出问题,对如何引导大学生形成正确的
本文分析了目前工业设计专业教育的现状和在“卓越工程师培养计划”下社会对工业设计师提出的新要求,描述了近年来进行的教学中的改革方法与实践内容,该方法具有普遍性,有助于提
随着中国经济社会的飞速发展和进步,我国的城镇化及人民生活水平日益提升,公民从要求保障最低限度的生存权阶段逐渐走向追求高质量生活的发展权阶段,对高质量居住环境要求的不断提高以及参与政府事务的意愿日趋增强正是其具体体现。随着公民权利意识的觉醒以及城市发展对公共设施建设需求的增加,近年来,由于邻避设施的选址和建设问题,我国发生了许多邻避冲突事件。例如,厦门、大连、宁波、昆明等地的PX项目都因选址问题引发
目的:观察桃红四物汤治疗封闭抗体低下型自然流产的疗效及对封闭抗体水平的影响。方法:将60例患者随机分为西医组、中医组、中西医结合组,西医组采用丈夫淋巴细胞皮下注射主动免
在高职院校的教学体系中,语文作为基础性的人文素质学科,对学生文化素养、知识储备以及谈吐表达的提升具有重要作用。为优化高职语文类课程的整体教学质量,全面提升高职学生
第一,传统保险公司开展互联网营销渠道将成为必然选择。互联网保险在销售简易类寿险和财产保险时,在整体提高效率、节约成本方面具有明显优势。险企已开展互联网业务的占比超
文章通过分析ERP环境对内部控制的积极影响,结合成功实施ERP系统的Y公司的先进经验和做法,经过分析研究得出,ERP环境下内部控制活动更加通畅,权限控制更加有效,通过一系列理
静止长度相同的两个飞船A和B,正以相对论性速度相向地擦边而过,如图1所示.A船船尾装有激光炮,炮口指向两船相对运动的垂直方向.当A船的宇航员测得自己的船头与B船船尾重合时,
网络的快速发展给人们的生活带来了便利,改变了人们的生活方式。但同时,网络中存在着大量的诸如虚假、淫秽色情、反动、迷信、邪教、恐怖暴力、赌博、诽谤、谩骂等不良信息,
<正> 数列{a_n}极限是A的描述性定义为:当项数(自然数)n无限增大时,a无限地趋近于A。这里有两个“无限”,前者表明对数列项由小到大观察其变化,后者若出现,则说明极限存在。