论文部分内容阅读
【摘 要】由于数据量的指数型增高以及人们对数据量高速访问需要的增长，数据储存方面的管理难度越来越大。为了在控制好管理成本的前提下，保证存储系统质量的稳定，人们提出了ILM（information lifecycle management）。分级存储管理HSM（hierarchical storage management）作为ILM广泛推广的具体方法，对于数据库的构建与发展都有着极大的帮助。本文对分级存储管理系统进行了系统而逻辑的功能划分，并详细描述了HSM系统的基本框架，对数据分类、数据放置和数据迁移几个方面的研究现状与内容进行了阐述，通过对比分总结出了研究中存在的问题，对HSM系统相关的研究的未来发展趋势进行了一定的探索与展望。
【关键词】分级存储 管理系统 探索
引言
數据库信息巨大，但其中仅有20%的数据是重要的，同一数据的重要程度和价值在不同阶段也不是一成不变的。数据的储存方式是多样化的，包括固态盘SSD/SATA磁盘，还有普遍的磁带、光盘等。
一、智能分级存储管理系统的研究现状
早期的分级存储主要是对设备物理特性进行的研究，访存速度较慢，管理比较简化，访问数据具有大规模与随机性的特点。Log-structed型文件系统是较早的系统研究，运用于特定应用研究与数据库的查询。
哈尔滨工业大学的一些研究人员从数据库的角度对数据不同片段、不同大小进行了数据设置的研究，考虑到数据放置的特殊关系，决定在二、三级存储上放置不同大小的数据片段，从而有了概率、静态概率等新参数，将抽象的问题转化为直白的图文。近年来，对低能耗的分级存储系统的实现、对新型存储实现高效的管理方式的优化成了最亟待解决的问题。
二、职能分级存储管理系统框架
HSM系统是一个完整的管理体系，是以数据访问的局部性为基础，通过相关管理软件实现的。HSM系统分为在线存储、近线存储、离线存储，多层侧的管理系统。HSM系统包括三个逻辑层次：设备层、管理层、应用程序层，每个层次都存在着其特殊性。
（一）存储设备层
存储设备层是指HSM系统中所有硬件设备，存储设备同其他的服务器或连接设备形成一个完备而复杂的整体结构，其中很多设备存在着性能与价格的差别。正是因为差异的所在，数据可以在一定的控制条件在储层级间进行变动。
（二）系统管理层
HSM系统最核心的是系统管理层，其由各种管理软件组成，实施对系统的监控。在系统的管理实施中，通过对数据进行分类，对数据进行布局、优化，并得到一定的反馈与结果。
（三）应用程序层
应用程序层指的是一系列对系统提供质量服务的应用程序的总和，程序通过相应的策略形式，实现对同系统程序管理的优化，利用分级存储系统结构的特点处理系统目标，越靠近应用程序，管理设备就越透明，实施方法越具体。
三、职能分级存储系统的研究内容
（一）数据分类
数据分类是对数据的各种特征进行分析、分类的过程，分类也会依据不同业务目标，遵循数据管理、分级、服务的标准。数据分类是HSM系统最基本的环节，是数据迁移与放置的基础，是HSM系统中需要强化的环节。在HSM系统使用自动化的管理能提高透明度，使数据的分层管理更清晰，减少管理成本。
按照数据的类型分类可分为结构化、半结构化、非结构化数据，还可以按数据读写频率分类、按数据的规模分类，而分类方法可分为静态分类和动态分类等。因管理员的经验与认知有关，动态分类具有很好的灵活性，所以静态分类有一定的局限性，如：不适应数据的变化、很难改变预设。数据分类可以增加管理的便利性，也可以降低业务风险。
（二）数据放置
数据放置是指将新创建的数据存储于特定位置上，常见的技术有RAID等，数据放置的位置具有多样性、复杂性。数据存放的具体形式有顺序放置、随机放置等，数据放置的方式是特别有讲究的，会直接影响到系统存储性能与工作效率。
科学的数据分布不仅可以对系统负载的均衡分布有着有利的影响，还可以极大程度上节省系统在硬件服务方面的成本。
（三）数据迁移
数据迁移是指周期性地改变数据的计算机硬件环境，包括同级和异级迁移。在系统的动态变化过程中起均衡设备负载作用的是同级迁移，分级存储系统中的核心部分就是异级迁移，规范的异级迁移操作可以很好地实现设备的自动化与优先化。制定迁移计划是数据迁移的前提，然后是步骤实施，高性能的存储设备类型和文件级的价值评价为数据迁移提供了新的研究发展方向。
四、结束语
分级存储系统的研究目标就是提高资源利用率，实现合理配置比例，使整个系统性能最优，并且保证业务的质量、服务的质量与系统可用性评价。而HSM是实现ILM的一种具体又安全的方式，HSM侧重数据对企业的价值，ILM则偏向数据频率，但两者的体系是统一和谐的，利用分级存储管理可以实现构建数据成本最低化。分级存储管理中的优化处理属于数据放置，也是最基本的方式。数据迁移是以数据放置为基础进行进一步优化的措施，而数据放置和数据迁移的前提是数据分类，数据分类指的是指定位置存储对象的标准。随着科技与信息的发展，分级存储研究也将拥有更多新问题，利用新型存储设备实现专门高效的分层管理是我们将要去探索的。
参考文献
【1】丁昊.分级存储管理系统MLFS的研究与实现【D】.国防科学技术大学，2013
【2】刘晓然.基于文件的数据分级存储的研究与实现【D】.昆明理工大学，2013
【3】宋世明.网络文库中海量存储系统的文件分级存储方法与应用研究【D】.昆明理工大学，2014
【4】王雪雁.光掩膜生产中数据存储管理系统的设计与实现【D】/上海交通大学，2009
【5】赵德铭.分级存储系统中文访问重定向的设计与实现【D】大连海事大学，2008
【6】刘志宽.分级存储系统中元数据管理的设计与实现【D】.大连海事大学，2008
【7】方扬.信息生命周期管理系统中信息分级管理技术的研究与实现【D】.北京邮电大学，2009
【关键词】分级存储 管理系统 探索
引言
數据库信息巨大，但其中仅有20%的数据是重要的，同一数据的重要程度和价值在不同阶段也不是一成不变的。数据的储存方式是多样化的，包括固态盘SSD/SATA磁盘，还有普遍的磁带、光盘等。
一、智能分级存储管理系统的研究现状
早期的分级存储主要是对设备物理特性进行的研究，访存速度较慢，管理比较简化，访问数据具有大规模与随机性的特点。Log-structed型文件系统是较早的系统研究，运用于特定应用研究与数据库的查询。
哈尔滨工业大学的一些研究人员从数据库的角度对数据不同片段、不同大小进行了数据设置的研究，考虑到数据放置的特殊关系，决定在二、三级存储上放置不同大小的数据片段，从而有了概率、静态概率等新参数，将抽象的问题转化为直白的图文。近年来，对低能耗的分级存储系统的实现、对新型存储实现高效的管理方式的优化成了最亟待解决的问题。
二、职能分级存储管理系统框架
HSM系统是一个完整的管理体系，是以数据访问的局部性为基础，通过相关管理软件实现的。HSM系统分为在线存储、近线存储、离线存储，多层侧的管理系统。HSM系统包括三个逻辑层次：设备层、管理层、应用程序层，每个层次都存在着其特殊性。
（一）存储设备层
存储设备层是指HSM系统中所有硬件设备，存储设备同其他的服务器或连接设备形成一个完备而复杂的整体结构，其中很多设备存在着性能与价格的差别。正是因为差异的所在，数据可以在一定的控制条件在储层级间进行变动。
（二）系统管理层
HSM系统最核心的是系统管理层，其由各种管理软件组成，实施对系统的监控。在系统的管理实施中，通过对数据进行分类，对数据进行布局、优化，并得到一定的反馈与结果。
（三）应用程序层
应用程序层指的是一系列对系统提供质量服务的应用程序的总和，程序通过相应的策略形式，实现对同系统程序管理的优化，利用分级存储系统结构的特点处理系统目标，越靠近应用程序，管理设备就越透明，实施方法越具体。
三、职能分级存储系统的研究内容
（一）数据分类
数据分类是对数据的各种特征进行分析、分类的过程，分类也会依据不同业务目标，遵循数据管理、分级、服务的标准。数据分类是HSM系统最基本的环节，是数据迁移与放置的基础，是HSM系统中需要强化的环节。在HSM系统使用自动化的管理能提高透明度，使数据的分层管理更清晰，减少管理成本。
按照数据的类型分类可分为结构化、半结构化、非结构化数据，还可以按数据读写频率分类、按数据的规模分类，而分类方法可分为静态分类和动态分类等。因管理员的经验与认知有关，动态分类具有很好的灵活性，所以静态分类有一定的局限性，如：不适应数据的变化、很难改变预设。数据分类可以增加管理的便利性，也可以降低业务风险。
（二）数据放置
数据放置是指将新创建的数据存储于特定位置上，常见的技术有RAID等，数据放置的位置具有多样性、复杂性。数据存放的具体形式有顺序放置、随机放置等，数据放置的方式是特别有讲究的，会直接影响到系统存储性能与工作效率。
科学的数据分布不仅可以对系统负载的均衡分布有着有利的影响，还可以极大程度上节省系统在硬件服务方面的成本。
（三）数据迁移
数据迁移是指周期性地改变数据的计算机硬件环境，包括同级和异级迁移。在系统的动态变化过程中起均衡设备负载作用的是同级迁移，分级存储系统中的核心部分就是异级迁移，规范的异级迁移操作可以很好地实现设备的自动化与优先化。制定迁移计划是数据迁移的前提，然后是步骤实施，高性能的存储设备类型和文件级的价值评价为数据迁移提供了新的研究发展方向。
四、结束语
分级存储系统的研究目标就是提高资源利用率，实现合理配置比例，使整个系统性能最优，并且保证业务的质量、服务的质量与系统可用性评价。而HSM是实现ILM的一种具体又安全的方式，HSM侧重数据对企业的价值，ILM则偏向数据频率，但两者的体系是统一和谐的，利用分级存储管理可以实现构建数据成本最低化。分级存储管理中的优化处理属于数据放置，也是最基本的方式。数据迁移是以数据放置为基础进行进一步优化的措施，而数据放置和数据迁移的前提是数据分类，数据分类指的是指定位置存储对象的标准。随着科技与信息的发展，分级存储研究也将拥有更多新问题，利用新型存储设备实现专门高效的分层管理是我们将要去探索的。
参考文献
【1】丁昊.分级存储管理系统MLFS的研究与实现【D】.国防科学技术大学，2013
【2】刘晓然.基于文件的数据分级存储的研究与实现【D】.昆明理工大学，2013
【3】宋世明.网络文库中海量存储系统的文件分级存储方法与应用研究【D】.昆明理工大学，2014
【4】王雪雁.光掩膜生产中数据存储管理系统的设计与实现【D】/上海交通大学，2009
【5】赵德铭.分级存储系统中文访问重定向的设计与实现【D】大连海事大学，2008
【6】刘志宽.分级存储系统中元数据管理的设计与实现【D】.大连海事大学，2008
【7】方扬.信息生命周期管理系统中信息分级管理技术的研究与实现【D】.北京邮电大学，2009