海量数据存储系统的设计与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:hh227
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网技术日益发达,网络上的数据量呈爆炸式增长,海量数据的管理和维护,对企业和个人来说,都面临着巨大的困难,不仅成本高昂,而且在海量数据存取的可靠性和可用性方面也都存在着巨大的问题。Google公司提出的GFS文件系统,最早给出了完整有效的海量数据存储理论框架,并面向大型分布式数据密集型应用,建立以大量异构的存储机器为基础的集群,实现海量数据的存储和读取的高性能服务,并提供良好的系统容错性。本文是以Google的GFS文件系统理论为基础,结合海量数据存储的特点以及存储的高可靠性,并针对数据存储节点的异构性,提出基于机器存储性能和数据块访问次数等因素的负载计算模型,并给出了数据存储节点选择优化策略、数据读取节点选择优化策略以及负载均衡节点选择优化策略,同时将优化策略和默认策略进行性能上的对比。论文在详细分析海量数据存储理论、方法、技术的基础上,对系统的整体结构进行设计,细分系统各个部分的功能,给出存储系统的功能设计,并实现了包括数据存储功能、集群节点管理功能以及节点优化选择功能在内的海量数据存储系统软件,最后进行了系统测试。论文实现的系统能够有效完成海量数据的基本存储功能,并提供了一定的容错性,系统的读写性能表现良好,基于基本存储服务所提出的节点优化选择策略,在系统负载均衡性方面比默认策略更均衡,并且能够在一定程度上提升海量数据的读写速度。
其他文献
城市地下管线是城市建设的重要内容,也是城市生存和发展的生命线,涉及到城市的各个角落,并且与人民生活息息相关。管线数据具有规模大、范围广、管线种类繁多、空间分布复杂、变
相关文献提出的RMAC模式把应用MAC的消息空间扩展到了∑^*上,对实时数据应用MAC提供了理论依据.然而,该模式在格式化消息时,不加区别地对所有长度的消息都要追加一个PAD,这就使得当
讨论了低功率密度宽带全向微波整流天线设计中的几个关键问题,包括低功率微波整流、整流天线、整流天线阵列等.研究表明,这种特殊的获取电磁能量的方式有可能在许多重要方面
“受虐妇女综合症”是指长期受丈夫或男友暴力虐待的妇女表现出的一种特殊的行为模式。这类妇女由于难以在配偶的暴力中找到出路,逐渐在心中形成了一种心理上的疾病,这种疾病被
在社会发展的新时期,互联网技术进一步发展,产教融合的方式发生了相关的改变,其不仅体现在合作形式的建立上,还体现在发展理念的创新与融合上。高职艺术教育在新时期的建设与
欧盟将国际航空业纳入碳排放交易机制,其做法虽有利于解决全球温室气体排放问题,但也给国际航空业的发展带来了巨大影响,遭到了包括中国在内的世界各国强烈反对。作为国际航空业
中外合作办学项目引进国外优质教育资源,实现了学生"不出国的留学"。然而,英语水平制约着学生对国外优质教育资源的利用。如何有效地提高学生的英语实际应用能力是中外合作办学
现代化进程自其发端就从未止步。现代化与全球化交织在一起,构成了现代性语境。它形成了一股强大的离心力将传统社会与现代社会断裂开,导致传统社会与现代社会的巨大差异。现代
在现代信息技术水平不断提升的背景下,应转变百年中职财会专业课程设计,实施信息化教学策略,提高教学质量。文章以信息化背景下中职财会专业精品课程建设为研究对象,对信息化