私有云存储系统中存储与访问模块的设计与实现

来源 :中国科学院大学(中国科学院工程管理与信息技术学院) | 被引量 : 1次 | 上传用户:kaigg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网传输与移动通讯两大领域的结合,网络的信息传输量呈井喷式增长,无论是企业还是个人,已经越来越习惯于依赖这些智能电子设备来管理各自的信息、数据。海量的数据管理,单纯依靠个体架构的存储系统来完成,变得越来越不现实,借助云存储技术实现海量数据的管理与存储已成为了互联网信息化发展的必然趋势。截止2015年底,中国大陆范围内云存储业务的个人用户数量一度达到了4.2亿。在国外的云存储市场上,亚马逊公司的S3,谷歌公司的GSD,微软公司的WinLive SkyDrive等产品也在短时间内占据了巨大的市场份额。以云存储技术为核心所构建的数据存储平台,可以为各类用户提供便捷、高速、可靠的数据管理服务,不需要用户们去考虑和解决整个系统的底层架构、成本开销等问题。大大节省了用户在数据管理方面所投入的时间开销和经济成本。云存储系统会提供统一的网络端接口,使用户不受时间、地点、终端设备类型的限制随时借助互联网实现数据的访问。本论文针对本单位在主要业务发展中存在的大容量存储、传输速度、数据备份和容灾系统等方面的需求,基于Hadoop平台设计实现了一个具备良好扩展性和可靠性的私有云存储系统。本文的主要完成工作如下:(1)底层数据存储设备的部署管理采用了当前最为流行Hadoop平台的HDFS分布文件管理技术来实现,保障了系统的高可靠性与稳定性;(2)前端的用户访问模块采用WEB模式与SDK模式相结合的形式,WEB模式中还设计了基于移动端的用户界面,为用户提供了灵活的系统访问方式。(3)针对本单位业务特点,对大量小文件的存储提出了优化方案,并进行了仿真验证。(4)针对本系统的两种主要访问模式,设计了完整的测试用例对它们的性能进行详尽的测试与对比。本文所设计的私有云存储系统能够在提供大容量文件存储空间的同时,还保障了多并发连接下的传输速度,在解决本单位数据存储业务需求的同时,还可以为云存储技术在其他领域内的类似应用提供一定的参考依据和研究思路。
其他文献
一部分新生代农民工在"城市梦"破裂之后选择返乡。由于对农村生活的陌生与隔阂,新生代农民工在与农村生活融合的过程中,存在着经济层面、社会层面和心理层面的不适应。调查发
刷牙是保护牙齿健康的基本手段,然而牙刷质量好坏至关重要。传统牙刷以尼龙丝为基本材料,丝毛坚硬,柔韧性不好,也给牙齿带来许多不健康的影响。比如,容易刺伤牙龈、损伤牙釉质、造
目的 探讨外源磷酸肌酸在小儿先天性心脏病矫治术中的心肌保护作用。方法  1999年6月至 2 0 0 0年 3月 ,4 0例先天性心脏畸形矫治术 (男、女各 2 0例 )病儿随机分为两组 :
国资委和证监会共同推动的大型国企整体上市,可能会将此前因为分拆上市而遗留下来的存续公司问题变成历史2007年2月5日,我国三大发电设备供应商之一的东方电气集团整体上市正
在我国研究生培养体制中,“自然辩证法”是针对理、工、农、医专业的硕士研究生开设的一门政治理论公共课,定位是马克思主义哲学的一个重要组成部分。课程的授课对象与学科性
<正> 同志们: 到本世纪末,基本解决贫困人口的温饱问题,是党中央、国务院的重大战略决策和世纪性宣言。 在我国贫困人口中,残疾人占近三分之一。残疾人的温饱问题能否得到解
资料与方法选取脑梗死患者90例,年龄61.1&#177;11.5岁。男52%,女48%。纳入标准:符合全国第四届脑血管疾病学术会议修订的脑卒中诊断标准:Fugl—Meyer平衡测定〈6分。有严重沟通和视听
<正>5月28日,国家电网有限公司召开学习贯彻习近平总书记关于科技创新重要论述暨公司科技创新大会。会议印发《关于进一步加强科技创新工作的实施意见》《关于进一步加强科技
一、概述随着石油化学工业的发展和经济的成长,涂膜防水方法在日本迅速地发展起来。特别是1967年以来,由于聚氨酯橡胶、沥青橡胶等防水应用技术的开发,加快了这一发展。涂膜