数据存储需求在全球范围内的快速增长,推动了计算机存储技术从磁盘、磁带、RAID 等简单孤立的存储设备到网络存储系统的发展历程。存储系统结构与海量数据的复杂性致使数据的存储、管理和维护变得越来越复杂,传统的网络存储技术在具有自己优势的同时也各有其明显不足。因此,我们目的就是致力于研究整合网络文件设备和网络块设备的虚拟网络存储系统,主要对其系统结构、全局数据的组织、虚拟存储文件系统的关键技术实现、I/O 处理模式以及数据分配对系统性能的影响等方面进行详细的分析与研究。 首先在对存储系统和虚拟化技术分析的基础上,讨论了数据存储系统应用需求和存储角色的演变,分析了存储系统从传统单机设备到网络存储、虚拟存储发展的演变历程。阐述了虚拟化存储的主要概念与技术细节、实现层次与模型、实现方法以及国内外研究进展。最后给出了研究意义及其主要研究内容,并且介绍了课题来源。 现有的虚拟化技术缺乏一种系统的分析与认识。我们提出了虚拟网络存储的基本设计原理,归纳总结了一些容易混淆的术语与约定,并给出了虚拟行为、虚拟存储节点等概念规范。同时给出了网络存储环境下虚拟存储的抽象结构以及存储空间的一种划分,并分析了组成虚拟网络存储三种节点组件的逻辑结构及其虚拟化实现。为继续深入讨论虚拟网络存储提供了必要的理论基础和技术储备。 复杂的虚拟网络存储系统需要全局化的数据和资源管理。在比较传统文件系统和网络存储环境下的分布式文件系统特点基础上,我们设计了基于并行方式处理的虚拟存储文件系统。由此实现系统全局一致的虚拟命名空间,管理整个系统的设备资源,提供一种轻量级的命名服务和多种策略的访问模式支持。同时针对异构存储系统的数据一致性问题,还研究了同时实现文件锁和数据片锁的二级锁机制,以及提高系统安全性的文件加密设计。实验表明,比较传统的 NFS 文件系统,加密后的*本文得到国家自然科学基金《统一存储网(USN)理论、结构与实验研究》(60173043),以及国家高技术发展计划(863)课题《存储虚拟化及其文件系统研究》(2001AA111011)的资助 I<WP=4>虚拟存储文件系统并没有给系统带来太大的性能开销。通过分析虚拟网络存储系统的物理结构、逻辑结构和 I/O 存取模式,我们还对异构系统的自适应性问题进行了研究与设计,分析了根据容量分配数据的均分 Hash 分配算法。当系统磁盘的个数以及容量改变时,均分 Hash 算法提供了良好的可靠分配、低的计算复杂度、良好的负载平衡以及自适应要求。我们还研究了虚拟网络存储中数据并行分配算法对系统 I/O 性能的影响,提出了一种根据节点性能来决定分条频度的自适应数据分条算法。实验表明,与传统的 round-robin 算法比较,自适应算法具有更好的 I/O 性能。网络存储系统中的结构、协议、I/O 模式的复杂性等都远远超过了传统主机存储系统,影响网络存储系统性能的因素有很多。在分析随机 Petri 网(SPN)原理基础上,我们首先对请求连接的建立与拆除、结果处理等系统总体模型进行了分析,描述了系统请求响应时间与系统负载、网络带宽和节点处理能力之间的关系。然后根据系统能够并发处理多个请求的特点,建立了网络存储环境下并行 I/O 处理的 SPN模型,总结分析了系统吞吐率与系统负载、请求大小以及并行粒度等的影响关系,并通过实验进行了性能测试。综上所述,虚拟网络存储一般性设计原理的提出,随机 Petri 网性能模型的建立,以及高效数据分配算法的研究,对于设计和实现基于网络的虚拟存储系统及其相关应用具有较大的理论价值和指导意义。