论文部分内容阅读
云技术的快速发展使得人们能够越来越方便的获得计算和存储资源。而智能手持设备的普及,使得人们能越来越方便的获取和产生数据,由于智能手持设备本身的局限性,使得人们越来越多的依赖于云计算系统。因此如何保证云计算系统中数据的可靠性是一个非常重要和急需解决的问题。
事务机制是提高数据可靠性的重要方式。作者在清华大学高性能计算研究所参与属于863重点项目“海量存储系统关键技术”的对象分布式文件系统—Mangix研发,具体负责对象存储设备上事务机制的研究与实现,通过在对象存储设备中增加事务机制,提高数据的可靠性,同时通过构建数据与元数据缓存,提高存储设备的I/O性能。主要内容包括:
1)在分析分布式文件系统中数据和元数据的访问与管理特点以及SSD设备特性的基础上,针对对象存储系统和SSD设备的特性,设计了事务性对象存储设备的结构。
2)在分析基于对象分布式文件系统中固态存储设备可靠性问题的基础上,针对SSD的组织特性,设计了基于对象的数据缓存策略;在分析现有OSD命令传递方法的基础上,设计了支持事务的OSD命令集;利用SSD异地更新的特性,引入两阶段提交协议,提出并设计了基于RAID5的数据写事务机制。实现了支持RAID5数据写事务机制的对象存储设备原型系统,使用存储系统性能通用测试工具postmark产生邮件和电子商务类型的大量小文件负载,测试了原型系统的IOPS和吞吐率,验证了基于RAID5数据写事务机制在提高对象存储设备可靠性的同时,还能提高90%左右的性能。
3)针对分布式文件系统中元数据操作需要多个不同存储节点共同完成的特性,提出并设计了基于组合操作的元数据事务机制和基于对象的元数据缓存策略;设计了事务性元数据操作处理策略、事务日志和提交消息处理策略、消息控制策略。在支持RAID5数据写事务机制对象存储设备原型系统的基础上,增加了基于组合操作的元数据事务机制,使用存储系统通用测试工具postmark产生邮件和电子商务类型的大量小文件负载,测试了原型系统的IOPS和吞吐率,结果显示增加基于组合操作元数据事务机制能在不降低I/O性能的情况下提高了对象存储设备的可靠性。