内容感知存储系统中信息信息生命周期管理关键技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:qq0123456456789
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着存储系统智能化需求的不断提高,越来越多的应用层功能开始融入存储系统,例如自主管理,数据安全以及信息检索等。传统的存储系统以块级或对象级数据处理为主,缺乏文件级信息,无法将信息生命周期管理(Information Lifecycle Management, ILM)功能融入存储系统。遵循XAM (eXtensible Access Method)规范的内容感知存储(Content Aware Storage)系统,由于使用内容元数据(Content Metadata)对数据的文件级信息进行传载,因此为ILM融入存储系统提供了基础。研究ILM融入内容感知存储系统过程中涉及的关键技术,围绕着内容元数据构建信息整合、内容分类、分级存储、数据备份以及信息归档等ILM数据处理阶段。研究工作主要包括:提出并实现了一种基于内容元数据的信息整合方法。针对ILM数据处理需求制定了内容元数据规范,包括内容元数据的定义、提取、表示以及传输。以内容元数据为基础,从外在形式和内部语义两方面实现了非结构化信息数据的整合。设计并实现了支持内容元数据规范的存储系统原型,性能测试表明信息整合提高了数据预处理的速度,同时对存储系统的平均I/O性能影响极小。提出并实现了一种面向内容元数据的信息分类算法。针对内容元数据的分类特征数量少但语义质量高的特性,构造了一种基于特征词集合的内容元数据相似度计算模型。该模型根据训练样本中的特征词集合构造相似度矩阵,.并通过对矩阵进行平滑运算计算特征词之间的隐式相关性,以此为基础计算内容元数据的特征矢量。基于特征矢量,采用K-Means算法构造数据分类器。性能测试表明,该算法比传统的数据分类算法有着更高的精确度和互信息,并极大地降低了分类计算的时间。提出并实现了一种内容元数据驱动的分级存储模型,包括基于应用需求的分级存储与基于成本需求的分级存储。前者满足信息在备份、归档、安全以及访问控制等应用上的需求,后者侧重于降低单位信息的存储成本同时确保存储系统的I/O性能。提出了一种基于速率控制的自适应数据迁移算法,将数据迁移I/O对存储系统正常I/O的影响降至最低。性能测试表明,内容元数据驱动的分级存储模型能有效满足的信息数据的存储需求,同时不影响存储系统的整体性能。提出并实现了一种基于内容特征的重复数据删除算法。针对当前数据备份中重复数据删除算法未考虑不同文件类型的内容在比特值分布上的差异,采用候选边界直方图来表示文件类型的内容特征,并在此基础上对传统重复数据删除算法的关键参数进行优化。算法以降低不同文件类型之间的数据缩减率为代价,换取相同类型文件之间数据缩减率的提高。设计了一种支持变长数据块高效存储的文件系统TDFS。性能测试表明,该算法在特定数据集上对数据缩减率(Reduction Ratio)有较大提高。提出并实现了一种基于内容元数据的信息归档模型。通过引入支持OAIS (Open Archival Information System)归档规范的内容元数据标签,实现信息的逻辑保存。提出一种基于磁盘的软件WORM (Write Once Read Many)模型,通过修改磁盘功能划分以及对iSCSI命令的响应行为,实现信息的物理保存。通过对归档文件加密并在保存逾期后销毁密钥,实现了信息的安全销毁,同时提出了一种基于时间窗口的密钥管理机制降低密钥管理复杂度。性能测试表明,基于内容元数据的信息归档模型能有效满足归档信息的功能需求与性能需求。实验表明,内容感知存储系统能有效解决传统存储系统中缺乏文件级语义的问题,通过以内容元数据为核心来构建ILM模型中的关键数据处理阶段,不仅能简化ILM融入存储系统的复杂性,同时还能极大提高数据访问性能,满足存储系统的智能化需求。
其他文献
以猪场沼液为研究对象,通过等温吸附实验研究沸石、铁粉、硅藻土、煤渣、石英砂5种基质对氨氮的等温吸附特征,并采用一级和准二级动力学方程分析吸附动力学过程。根据实验结果
【正】作为"国父"的女儿,她进入政坛,似乎只是因循传统。但因为勇气和个性,她走出一条特别的道路。2011年11月底的一个下午,缅甸仰光,茵雅湖南岸大学道54号。阳光刚刚好。66
如果有一天微软变成了另一个苹果,请不要太惊讶。
中国朝鲜族是由朝鲜半岛迁入的跨界民族。本课题以吉林延边朝鲜族自治州双语教育改革发展的阶段性特征为切入点,从延边朝鲜族自治州双语教育和构建和谐民族关系的视角,分析了朝
报纸
林东是一家人民币基金的投资经理,近来他少了出差,生活也变得比以前丰富。而他周围的VC朋友们,热衷德州扑克的也越来越多。“今年拟融资公司的业绩普遍下滑甚至亏损,能够最近三年
通过分析目前专业英语教学现状,结合教学实践,以提高学生会展专业英语应用能力为目的,提出会展英语教学方法有效性的界定,以及基于柯式评估模型来增强专业英语教学方法有效性
污水处理厂二沉池的运行效率受活性污泥沉降行为的影响十分显著,由于缺少有效的监测手段,有关活性污泥絮凝沉降速率的研究开展较少。基于固体一维通量的连续性方程,提出了一种计
为了解中草药对球虫卵囊孢子化的影响,将未孢子化斯氏艾美尔球虫卵囊分别在质量浓度为0.25g/mol、0.50g/mol、1.00g/mol的蒲公英、青蒿、白头翁、秦皮药物中进行孢子化,于第4
本文总结了我院1997年1月至2001年5月间应用保留乳头改良根治术配合口服扶正女贞素片治疗Ⅰ、Ⅱ期乳腺癌13例,年龄36~66岁,肿瘤全部位于外上象限,手术适应于肿瘤边缘至乳晕边
会议
大规模科学与工程计算已经成为科学发现和工程设计的重要技术手段,复杂流体运动的数值模拟一直是大规模科学与工程计算最重要且最具挑战性的研究领域之一。与连续介质力学的