论文部分内容阅读
随着互联网传输与移动通讯两大领域的结合,网络的信息传输量呈井喷式增长,无论是企业还是个人,已经越来越习惯于依赖这些智能电子设备来管理各自的信息、数据。海量的数据管理,单纯依靠个体架构的存储系统来完成,变得越来越不现实,借助云存储技术实现海量数据的管理与存储已成为了互联网信息化发展的必然趋势。截止2015年底,中国大陆范围内云存储业务的个人用户数量一度达到了4.2亿。在国外的云存储市场上,亚马逊公司的S3,谷歌公司的GSD,微软公司的WinLive SkyDrive等产品也在短时间内占据了巨大的市场份额。以云存储技术为核心所构建的数据存储平台,可以为各类用户提供便捷、高速、可靠的数据管理服务,不需要用户们去考虑和解决整个系统的底层架构、成本开销等问题。大大节省了用户在数据管理方面所投入的时间开销和经济成本。云存储系统会提供统一的网络端接口,使用户不受时间、地点、终端设备类型的限制随时借助互联网实现数据的访问。本论文针对本单位在主要业务发展中存在的大容量存储、传输速度、数据备份和容灾系统等方面的需求,基于Hadoop平台设计实现了一个具备良好扩展性和可靠性的私有云存储系统。本文的主要完成工作如下:(1)底层数据存储设备的部署管理采用了当前最为流行Hadoop平台的HDFS分布文件管理技术来实现,保障了系统的高可靠性与稳定性;(2)前端的用户访问模块采用WEB模式与SDK模式相结合的形式,WEB模式中还设计了基于移动端的用户界面,为用户提供了灵活的系统访问方式。(3)针对本单位业务特点,对大量小文件的存储提出了优化方案,并进行了仿真验证。(4)针对本系统的两种主要访问模式,设计了完整的测试用例对它们的性能进行详尽的测试与对比。本文所设计的私有云存储系统能够在提供大容量文件存储空间的同时,还保障了多并发连接下的传输速度,在解决本单位数据存储业务需求的同时,还可以为云存储技术在其他领域内的类似应用提供一定的参考依据和研究思路。