论文部分内容阅读
数字档案随着互联网快速的普及与发展,信息总量呈现出爆炸式增长,数字档案中音、视频档案甚至高清视频档案越来越多,在方便用户调阅档案的同时,面对日积月累的海量档案文件,如果缺乏完善的档案存储设施,数字档案工作必将受到严重的制约和发展。分布式文件系统为海量档案文件存储带来了曙光,但如何有效管理分布式文件系统中的海量文件,往往是许多分布式文件系统所要面对的议题。目前市面上已有的分布式文件系统大多建立成本太高,对于存取效率方面,有许多分布式文件系统可能会因为几台数据服务器负载太高,进而影响整体文件存取效率。针对以上问题,本文提出了一种基于FastDFS架构的数字档案馆存储系统设计方案,具有高度的延展性,可以很容易的扩充容量,以满足不断增加的储存容量的需求。实验结果也证明了本文所设计的档案存储系统,有不错的存取效率,而通过检测存取效率模块,能够让本档案存储系统大幅降低某些文件服务器负载太高时对整体存取效率所带来的影响。具体包括:1、针对FastDFS面对大文件存取操作时所需延时急剧上升,Storage Server负载过高,整体系统存取文件的效率变低的问题。通过将大文件分块,采取多份备份的存储方式将文件完整分散存储在多台的Storage Server上,读取文件时本系统会由各个拥有这个文件的Storage Server同时取得不同的文件区块。当收集到全部的文件区块之后,再进行文件重组的操作,进而提高整体文件读取的效率。2、设计了效率检测模块,因为本系统同时由多台Storage Server取得文件区块,所读取的文件必须等待所有文件区块传输完成后,才能进行文件合并与文件存取的操作。这些Storage Server因异地备份的需求,可能会分散到不同的区域网络中,如果某些Storage Server因为网络环境不稳定或者系统负载太高导致传输文件速度较慢,整个文件合并还原的操作会因为这些Storage Server效率太差而降低整体系统效率,所以效率检测模块会在文件存取过程中主动检测判定Storage Server的负载情况,越过负载过高的Storage Server,从效率较高的Storage Server内完成存取操作,达到当某些Storage Server负载较高时系统仍能维持整体文件存取的效率的目的。