基于属性与链接的海量文件组织机制研究与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:sangyilin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网技术的快速发展致使涌现出了各种类型的数据资源,用户面对的信息结构与层次难以划分,信息的有效组织成为一个亟待解决的问题。目前主流文件系统主要是解决数据的存放的性能与可靠性等问题,而较少关注数据本身的内容的特性与数据之间的关联信息。为了解决上述问题,学术界引入了语义文件系统,在现有文件系统之上通过引入新的接口模型扩展文件的语义关系,但没有彻底修改文件系统结构,没有侧重考虑查询性能。因此研究并实现一个高效的文件管理机制是非常有意义的。通过对文件的三种典型组织方式和文件的检索机制的分析与讨论,总结出目前文件系统中的文件组织与管理中的特点与存在的不足,设计并实现了一个基于扩展属性与文件内部链接的系统原型。该原型系统在逻辑上将文件组织为扁平结构,实现了虚拟路径机制来兼容POSIX规范。在接口上提供了灵活的针对扩展属性和链接的操作方法;在内部通过扩展属性保证文件语义信息的完整性和扩展性,利用系统内部链接实现了文件关联信息的自动管理,避免了传统文件系统中关联失效问题;在访问方式上为用户提供了个性化的逻辑视图,帮助用户快速定位文件,并在文件查询方面采用倒排索引机制提高文件的检索效率。通过实验验证了原型系统在元数据扩展、文件关联和检索方面的功能,并对性能进行了测试。结果表明在文件检索性能比默认检索工具提高48%到64%,对于扩展属性增加、删除等元数据操作,原型系统的响应时间一般在20微秒左右。由于在实现上考虑到简洁性,采用了用户空间文件系统框架,因此相比较内核态的文件系统牺牲了大约20%的读写性能。
其他文献
Web服务作为一种自主而开放的应用实体,具有松散耦合、平台无关、互操作性强等特点,特别适合在Internet环境中发布和使用。随着互联网上Web服务数量的快速增长,如何从中快速
随着数据价值不断提升,分布式存储系统中的数据加密存储变得更为重要。为降低对存储系统的信任,以满足对用户隐私保护的需求,端对端的加密存储应运而生。对象存储设备因其智能管
信息化高速增长,带动磁盘理论技术的进步,磁盘记录密度保持着约30%平均年增长率。超顺磁影响的限制制约着磁盘记录密度的无限提高,出现在磁盘市场上磁盘中最高磁记录密度日益接
片式结构(Tile)多核处理器以其良好的可扩展性和低能耗性已经成为一种重要的多核架构。数据流编程(Data Flow Programming)作为一种开发并行性的有效方法已经被广泛应用于多核处
ZigBee无线传感器网络作为一种新型短距离通信技术,具有短距离、低速率、低时延、低功耗、低成本、安全可靠、大容量的特点,最有可能实现“无所不在的网络”理念。它不仅在工
随着虚拟化技术和云计算技术的发展,越来越多的科学计算应用运行在云计算资源之上。MPI编程模型是一种消息传递编程模型,大多数科学计算应用都是基于这种消息传递编程模型的高
服务器是信息服务业的基础设施,但当前利用率普遍偏低。虚拟化技术能够提升服务器效率,降低管理复杂程度,在数据中心得到广泛运用。块设备是存储I/O系统中的主要外部设备,其访问
重复数据删除作为当前存储系统的关键技术,能够大幅节省存储空间,极大减少网络数据传输量,尤其是针对数据备份和归档。然而,当面对大量数据时,数据块指纹索引不能全部放入内存,磁盘
特征选择是一种用来降低数据集维度的技术,其核心是从输入的特征集合中选择出最具有预测性的特征子集来代表原始数据集合。特征选择不仅可以简化特征内在的关系还可以改善整
随着网络安全问题的日益突出,隐蔽信道作为重要的网络危害之一,逐渐成为学术研究热点。根据隐蔽信息的载体的不同,隐蔽信道分为时间式和存储式隐蔽信道,另外还有多链路式隐蔽