论文部分内容阅读
目前大多数分布式文件系统采用静态备份机制保证系统的高可靠性,其要求文件的访问模式和存取节点范围在其生命周期中保持一致,由于用来备份的文件副本数量全局统一,忽略了文件重要程度对可靠性要求的影响,使得备份机制灵活性差,无法应对系统规模及被访问量的变化;另外静态备份机制要求文件的备份位置固定采用一种存储方案,无法应对多变的应用环境。因此本课题以科技部网络视频评审为依托,针对静态备份机制灵活性差及如何提高系统可靠性的问题展开研究。本文的主要工作和贡献如下: (1)针对静态备份机制灵活性差的问题,提出了一种基于用户行为分析的动态备份机制,一定程度上提高了系统的可靠性。 首先,利用具体实例来阐述用户行为的特点,通过对用户行为特点的提取与归纳,建立了用户行为分析模型;其次,针对静态备份机制灵活性差的问题,提出了动态备份策略,结合用户行为分析建立一种动态备份机制。随着系统规模及访问量的变化,系统各节点及各文件的可靠性要求也在发生改变,通过分析用户行为获得相关信息来动态的改变备份数量及确定备份位置,将文件重要程度这一指标有效地纳入可靠性保障体系中,应对系统规模和访问量的变化,具有较强的灵活性,从而提高了系统的可靠性,适合大规模的分布式存储系统。 (2)为了证明动态备份机制可以提高系统的可靠性,同时可以解决静态备份分布式文件系统灵活性差的缺点,本文将动态备份机制与 HDFS建立基于 HDFS之上的备份系统,并应用于“网络视频评审数据分布式存储系统”。 HDFS是开源的分布式文件系统,通过静态备份机制保障系统的高可靠性,作为实现海量数据存储的系统被普遍使用,但其备份事前指定的策略具有灵活性差的弊端,导致无法应对外界环境的变化,本文结合HDFS静态备份机制的优点,解决其灵活性差的缺点设计并实现了基于HDFS之上的备份系统,并将该系统应用于为科技部建立的“网络视频评审数据分布式存储系统”中。 (3)为了量化评价静态备份机制和动态备份机制的可靠性优劣,本文建立一套可靠性评价体系,从抗毁性和生存性两方面来设计指标进行评价,通过实验有效的证明了两种机制的可靠性高低。 为验证本课题提出的基于用户行为分析的动态备份机制有效性,设计实验并评价了该原型系统的高可靠性。本文提出一套可靠性评价体系,有效地评价了存储系统的可靠性。