基于对象的分布式文件系统中事务性存储设备的研究与实现

来源 :江苏大学 | 被引量 : 0次 | 上传用户:sunx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云技术的快速发展使得人们能够越来越方便的获得计算和存储资源。而智能手持设备的普及,使得人们能越来越方便的获取和产生数据,由于智能手持设备本身的局限性,使得人们越来越多的依赖于云计算系统。因此如何保证云计算系统中数据的可靠性是一个非常重要和急需解决的问题。   事务机制是提高数据可靠性的重要方式。作者在清华大学高性能计算研究所参与属于863重点项目“海量存储系统关键技术”的对象分布式文件系统—Mangix研发,具体负责对象存储设备上事务机制的研究与实现,通过在对象存储设备中增加事务机制,提高数据的可靠性,同时通过构建数据与元数据缓存,提高存储设备的I/O性能。主要内容包括:   1)在分析分布式文件系统中数据和元数据的访问与管理特点以及SSD设备特性的基础上,针对对象存储系统和SSD设备的特性,设计了事务性对象存储设备的结构。   2)在分析基于对象分布式文件系统中固态存储设备可靠性问题的基础上,针对SSD的组织特性,设计了基于对象的数据缓存策略;在分析现有OSD命令传递方法的基础上,设计了支持事务的OSD命令集;利用SSD异地更新的特性,引入两阶段提交协议,提出并设计了基于RAID5的数据写事务机制。实现了支持RAID5数据写事务机制的对象存储设备原型系统,使用存储系统性能通用测试工具postmark产生邮件和电子商务类型的大量小文件负载,测试了原型系统的IOPS和吞吐率,验证了基于RAID5数据写事务机制在提高对象存储设备可靠性的同时,还能提高90%左右的性能。   3)针对分布式文件系统中元数据操作需要多个不同存储节点共同完成的特性,提出并设计了基于组合操作的元数据事务机制和基于对象的元数据缓存策略;设计了事务性元数据操作处理策略、事务日志和提交消息处理策略、消息控制策略。在支持RAID5数据写事务机制对象存储设备原型系统的基础上,增加了基于组合操作的元数据事务机制,使用存储系统通用测试工具postmark产生邮件和电子商务类型的大量小文件负载,测试了原型系统的IOPS和吞吐率,结果显示增加基于组合操作元数据事务机制能在不降低I/O性能的情况下提高了对象存储设备的可靠性。
其他文献
近年来,随着我国经济和社会的快速发展,各行各业信息化程度不断提高,林业信息化建设也取得长足的进展。地力数据是林业中最重要的数据类型之一,对这类数据进行分析,对地力等
云计算是一种商业的计算模式,它具有强大的规模效应和独特的技术特征,这些特性使得云服务具有很强的性价比。它将任务分布在由大量计算资源等构成的数据中心之中,使得云计算的用
随着通信及微电子等技术的不断进步,无线传感器网络在诸多领域得到了广泛的应用。无线传感器节点能量极为有限等因素使得无线传感器网络的运作机制与传统的无线网络有较大的
突发状况下的建筑物紧急疏散与人员的生命安全息息相关,如何快速有效地使疏散人员安全撤离,已经成为当前公共安全领域研究的热点。目前国内外的建筑物疏散系统主要以静态疏散
云计算是由网格计算、并行计算、分布式计算发展而来,是一种新型的商业计算模式。由于云计算商业价值巨大,且对目前IT运营模式的影响意义深远,云计算己经成为国内外商业和科研机
最近兴起的关于车载自组网的研究可以为人们提供交通安全,协调驾驶,多媒体共享等方便,舒适的服务。由于车辆出行已经成为我们日常生活中的一个重要组成部分,车载自组网在我们生活
随着企业信息化的不断发展,各式各样的服务不断涌现,企业服务总线的应用越来越广泛。在企业服务总线的实际应用过程中,服务的交互往往是在运行时动态决定的,通常不仅是简单的双向
随着软件行业快速的发展,国内外的软件企业对软件的管理日趋成熟。软件成本估算越来越受到这些企业的重视。从软件自身的因素考虑,软件规模是软件成本最重要的组成部分。因此正
利用脑肿瘤图像处理技术进行计算机辅助诊断,不仅能够大幅度提升医生对脑肿瘤患者进行颅脑检查的效率和准确度,而且对于提高脑肿瘤患者的治愈率和存活率也有着重要的临床意义
无线传感器网络是由大量资源受限的传感器节点通过无线方式自组织构成的网络。它能够应用在恶劣甚至人们无法靠近的危险环境中,如防恐、野生环境监测、军事侦察、地震探测、矿