论文部分内容阅读
混合存储技术可以满足大数据存储系统对高存取性能和大存储容量的需求,同时大幅降低存储系统的总体拥有成本。新型瓦记录磁盘采用区域化内部数据管理方式缓解叠瓦式磁记录技术固有的写放大问题,但在非顺序写请求干扰下仍会出现严重的写性能抖动。新型闪存技术的发展导致闪存芯片可擦除次数大幅下降和并行资源难以充分利用,闪存固态盘出现可靠性下降和单盘性能增长受限等问题。叠瓦式磁记录技术和闪存技术的发展为大数据存储提供了更强的容量和性能保障,也对现有混合存储架构及其内部数据管理方法提出了新的挑战。
本文提出了基于闪存固态盘和主机感知型瓦记录磁盘的混合存储架构,并从性能优化和可靠性提升两个方面展开深入研究,主要工作和创新总结如下。
(1)全路径区域化的混合存储架构。提出ZoneTier,一种全路径区域化的混合存储架构。ZoneTier以区域为基本单位对混合存储系统内部数据进行管理,并协同设计存储分层技术和存储缓存技术、借助瓦记录磁盘的主机感知特性实现对非顺序写请求的全路径控制。ZoneTier相比现有混合存储设计,可以获得最大32.31%的系统性能提升,将数据迁移开销平均降低29.41%、介质缓存清除时间平均降低22.74%,为利用瓦记录磁盘构建大规模存储系统提供方法指导。
(2)瓦记录磁盘感知的高可靠存储缓存技术。针对ZoneTier中利用固态盘主动为瓦记录磁盘缓存非顺序写请求的应用场景,提出SMRC,一种瓦记录磁盘感知的高可靠存储缓存技术。SMRC在缓存准入阶段准确识别并过滤对固态盘的无效写入操作。SMRC相比现有存储缓存技术,可以获得最大35.53%的系统性能提升、将固态盘的数据写入量最多减少177.51倍,在不引入额外系统性能开销的前提下提升固态盘性能,从混合存储系统级为ZoneTier提供高可靠性保障。
(3)物理地址感知的固态盘请求调度方法。针对ZoneTier中固态盘可在设备级请求队列中获取大量可并行执行闪存请求的情形,提出PIOS,一种物理地址感知的闪存固态盘请求调度方法。PIOS将I/O请求调度策略与闪存固态盘内的闪存转换层协同设计,准确识别并调度I/O请求队列中可并行执行的闪存请求。PIOS相比操作系统级I/O调度方法,可以将固态盘的整体性能平均提升49.63%、将I/O请求在设备级请求队列中的等待时间平均减少63.39%,实现了对闪存芯片内部并行性的高效利用,从闪存固态盘设备级为ZoneTier提供高性能保障。
(4)基于热数据轮转放置的静态磨损均衡技术。针对ZoneTier中闪存固态盘很难得到充足的空闲时间完成静态磨损均衡的问题,提出Roble,一种基于热数据轮转放置的闪存固态盘静态磨损均衡技术。Roble利用热数据集中写入的方法减少静态磨损均衡过程中的数据迁移量,并利用闪存芯片内部的并行性提升数据迁移效率。Roble相比已有静态磨损均衡策略,可以将固态盘使用寿命平均延长25.07%,将数据迁移量平均减少2.25倍,平均将13.29%的数据迁移操作以完全并行的方式执行,从闪存固态盘设备级为ZoneTier提供高可靠性保障。
本文提出了基于闪存固态盘和主机感知型瓦记录磁盘的混合存储架构,并从性能优化和可靠性提升两个方面展开深入研究,主要工作和创新总结如下。
(1)全路径区域化的混合存储架构。提出ZoneTier,一种全路径区域化的混合存储架构。ZoneTier以区域为基本单位对混合存储系统内部数据进行管理,并协同设计存储分层技术和存储缓存技术、借助瓦记录磁盘的主机感知特性实现对非顺序写请求的全路径控制。ZoneTier相比现有混合存储设计,可以获得最大32.31%的系统性能提升,将数据迁移开销平均降低29.41%、介质缓存清除时间平均降低22.74%,为利用瓦记录磁盘构建大规模存储系统提供方法指导。
(2)瓦记录磁盘感知的高可靠存储缓存技术。针对ZoneTier中利用固态盘主动为瓦记录磁盘缓存非顺序写请求的应用场景,提出SMRC,一种瓦记录磁盘感知的高可靠存储缓存技术。SMRC在缓存准入阶段准确识别并过滤对固态盘的无效写入操作。SMRC相比现有存储缓存技术,可以获得最大35.53%的系统性能提升、将固态盘的数据写入量最多减少177.51倍,在不引入额外系统性能开销的前提下提升固态盘性能,从混合存储系统级为ZoneTier提供高可靠性保障。
(3)物理地址感知的固态盘请求调度方法。针对ZoneTier中固态盘可在设备级请求队列中获取大量可并行执行闪存请求的情形,提出PIOS,一种物理地址感知的闪存固态盘请求调度方法。PIOS将I/O请求调度策略与闪存固态盘内的闪存转换层协同设计,准确识别并调度I/O请求队列中可并行执行的闪存请求。PIOS相比操作系统级I/O调度方法,可以将固态盘的整体性能平均提升49.63%、将I/O请求在设备级请求队列中的等待时间平均减少63.39%,实现了对闪存芯片内部并行性的高效利用,从闪存固态盘设备级为ZoneTier提供高性能保障。
(4)基于热数据轮转放置的静态磨损均衡技术。针对ZoneTier中闪存固态盘很难得到充足的空闲时间完成静态磨损均衡的问题,提出Roble,一种基于热数据轮转放置的闪存固态盘静态磨损均衡技术。Roble利用热数据集中写入的方法减少静态磨损均衡过程中的数据迁移量,并利用闪存芯片内部的并行性提升数据迁移效率。Roble相比已有静态磨损均衡策略,可以将固态盘使用寿命平均延长25.07%,将数据迁移量平均减少2.25倍,平均将13.29%的数据迁移操作以完全并行的方式执行,从闪存固态盘设备级为ZoneTier提供高可靠性保障。