论文部分内容阅读
随着信息技术在不同行业和领域的应用与发展,许多机构、组织都积累了越来越多的行业数据。面对这些随行业发展而激增的数据,人们对数据的计算、存储需求也呈现出越来越大的增长趋势。云计算的概念应运而生。在众多组织机构的参与研究和商业化推进过程中,云计算得到了巨大的发展,但同时也出现了一些重复建设、重复投入的问题。不同行业领域都大规模的建设云计算数据中心。云计算平台概念的提出最初是为了整合所有可用资源,即把闲置的硬件设备和计算资源通过软件的方式整合在一起作为资源输出,而不是造成资源的铺张和浪费。目前有许多企业或组织都开放了云计算的资源,但这些资源的使用是需要付费的。虽然有部分产品提供了免费资源策略,但其对云存储资源的容量或者使用均设置有一定的限制。本文通过对文件系统基础架构知识的学习,在吸取已有分布式文件系统、云文件系统研究经验的基础上,探索如何在尽可能减少本地硬件资源投入的前提下建设云存储平台,充分地使用开放的云存储资源并达到较好的性能表现。提出了一种将底层数据存储在云端存储服务中的文件系统设计方案,并最终具体实现了该文件系统。该文件系统对本地硬件存储设备的投入要求较低,通常只需要一台服务器。具有良好的云端存储服务资源的接入和管理性能,同时对用户提供了友好的操作界面。本文的主要研究工作和取得的成果如下三个部分:(1)系统设计。在研究传统文件系统的架构及设计思想的基础上,分析相关云文件系统的设计思想和方案,提出一种将低层数据存储在云端的文件系统设计方案。(2)系统实现。实现了文件系统的整体架构及基本文件操作功能模块。通过元数据与数据块分离管理设计,以及元数据的管理设计,实现了不同用户终端与云端数据的同步功能。(3)系统优化。通过对文件类型的区分存储,提升文件系统的读写性能表现。通过对文件系统uid预取技术的设计与实现,实现文件系统的数据检索和接入优化,提升数据的接入速度,从而提升系统读写性能。文件系统的整体性能表现和两项性能优化表现均在实验测试当中进行了定性和定量的比照实验。通过实验数据清晰的反映了文件系统的整体性能与设计预期相一致。优化设计提升了文件系统的读写性能。