云数据中心基于超图的存储优化节能算法研究

来源 :南京理工大学 | 被引量 : 4次 | 上传用户:acmilanno1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据密集型计算需求的快速增长,采用MapReduce框架的云数据中心日益流行。其中,能耗问题已成为基于MapReduce框架的异构云数据中心当今急需解决的问题。为了能够提供超大规模数量级的数据存储、处理能力,以及提供良好的可靠性、抗灾性和处理性能,通常将MapReduce框架部署在具有数万节点的大规模集群上,同时对数据使用副本技术进行数据冗余。虽然副本技术可以提高系统的可用性和容灾性,但它也引入诸如副本一致性、负载均衡等问题。特别是多副本意味着多份的高昂设备运营成本,这必然会对系统能效的提高产生消极影响。本文在对Hadoop的默认副本放置策略进行分析的基础上,提出了一种基于超图的数据副本节能算法。该算法通过对由服务器和任务构造的超图求解其横贯,得到集群中关于数据副本和服务器的一个良好的覆盖结果。通过数据和任务的迁移,关闭处于空闲状态的服务器节点,提高了数据中心内服务器的使用效率,进而降低系统的能耗。为了验证本文所提出的算法的有效性,我们与覆盖集发现算法CS-k进行了对比实验。实验结果表明本文所提出的算法在保证数据完整性、可用性方面具有一定的优势。在同样的运行环境下,节能效率也好于CS-k算法。
其他文献
多租户SaaS(软件即服务,Software as a service)应用以其按需定制、按需付费、无需维护等特征,逐渐成为云计算时代下主要的软件服务模式。所谓多租户SaaS应用就是单实例多租
随着人们构建的本体的增多以及对本体研究的深入和实际应用需求的增加,本体的应用面临着一些新的问题。一方面是如何准确计算本体中概念之间的相似度;另一方面是如何解决异构
1999年,建立在物品编码、RFID (Radio Frequency IDentification)技术和互联网的基础上,美国Auto-ID中心首先提出了物联网的概念。当RFID与互联网相结合时,一场影响深远的革
在信息技术快速发展的时代,各种企业数据也在爆炸式的增长,如何准确、高效地从中发现有潜在价值的信息是人们一直关注的问题。数据挖掘作为一种数据分析工具,用于在海量数据
“绿色网络”是各类网络系统的发展趋势。无线Mesh网络(Wireless Mesh Network, WMN)作为解决“最后一公里”无线接入的关键技术,与“绿色网络”概念结合,不但可以降低自身能
PaaS(平台即服务)是把运行环境、开发环境等平台资源作为一种服务提供的云计算服务模式。通过PaaS(?)服务,ISV(软件提供商)将遵循规范开发好的应用交付部署到PaaS平台上之后,
随着移动互联网和移动终端的快速发展,人们对娱乐和上网的要求越来越高,平板电脑已经成为人们生活中的重要组成部分。文字输入是上网过程中必要的一环,我们中国有悠久的书写历史
随着计算机技术的高速发展,分布式系统得以广泛应用,然而由于分布式系统本身还不够稳定可靠,再加上环境、人员等外在因素的影响,分布式系统具有很高的故障率,而且一旦出现故
伴随着移动互联网的发展,产生了海量的图像和视频数据,对这些图像和视频数据进行处理与编辑得到了大家的高度重视。最近提出的基于双向相似函数的方法使用双向能量函数来衡量
随着数据库技术、数据仓库技术的迅速发展,存储的数据急剧增长,传统的数据分析和查询方法已经不能满足人们对隐含在数据中的知识的渴求。知识发现是研究如何快速、准确地从杂