基于持久性内存的民航重复数据删除技术研究

来源 :李慧 | 被引量 : 0次 | 上传用户:liuyan881119
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着民航交通流量的迅猛增加,在容灾备份时,庞大的数据量会产生大量重复数据,给机场和航空公司带来了不小的压力。不论是从成本、系统层面,还是性能方面,海量的重复数据使得民航数据在存储、容灾备份时产生了大量问题,例如,数据量大、备份时间长。因此,民航容灾备份系统对合适的重复数据删除方法的需求十分迫切。针对这些问题,本文首先提出了一种基于民航数据特性的固定长度分块方法。在这个方法中,根据民航数据的特定类型数据结构不变的特性,设计了一种分块策略索引表的数据结构,能够为同种类型的数据提供分块策略,节省了分块时寻找数据块边界的时间,提高了容灾备份时的重复数据删除效率。同时,为新的数据类型建立新的分块策略,方便后续匹配数据流,提高命中精度。其次,随着持久性内存(Persistent Memory,PM)的应用与普及,本文改进了基于机械硬盘的传统去重方法,提出了基于持久性内存的内容比较重复数据删除方法。该方法根据民航数据长度小而数量多的特点,采用基于位置的内容比较重复数据删除方法。首先采集文件数据块的指纹,并提取指纹样本,再利用持久性内存根据指纹样本的ID定位文件位置,匹配内容判断是否需要进行二次细化分析,最后进行重删或备份。与传统重复数据删除方法相比较,最终实验证明了文中优化方法的优越性,在对民航数据库进行容灾备份时能够去除的数据在重复数据中占比约为98.08%,相较于传统方法去重时间缩短了1/2~2/3,提高了去重效率,减小了存储系统的压力,最小化了网络传输的带宽压力。
其他文献
目的:探讨中药方剂临床安全性监测质量控制指标的构建与效应。方法:随机选取2017年1月~2018年5月期间,在医院接受中药方剂治疗的患者300例为研究对象。根据管理方法不同分为对照组和观察组,每组150例。对照组给予常规中药方剂临床安全管理。观察组在构建中药方剂临床安全性监测质量控制指标的基础上,进行用药安全管理。比较两组的中药方剂临床安全性监测质量控制指标评分、临床安全用药管理质量评分。结果:观
期刊
<正>党的十八大以来的十年,是党和国家事业发展进程中具有里程碑意义的十年,也是我国音乐发展史上极不平凡的十年。十年来,在习近平新时代中国特色社会主义思想指引下,广大音乐工作者坚定文化自信,坚守中华文化立场,与党同心同德、与人民同向同行,真情倾听时代发展的铿锵足音,生动讴歌改革创新的火热实践,围绕党和国家工作大局,聚焦人民群众对美好生活的向往,以强烈的历史主动精神、丰富的艺术实践和优秀的音乐作品,积
期刊
报纸
<正>一、供电企业基层党支部队伍建设现状分析(一)思想认识存在"三个认识不清楚"一是对党建工作重要性认识不清楚。基层供电企业还存在"重业务、轻党建"的思想,在党建人员配备上往往先考虑行政职务,有蜻蜓点水、指鹿为马的现象。二是对党支部书记职能职责认识不清楚。基层党支部书记大多是兼职书记,导致行政化现象非常严重,支部书记主责主业意识不强。三是对党支部堡垒作用发挥认识不清楚。部分支部书记对党支部作用认识
会议
报纸
金融科技的蓬勃兴起为绿色信贷的发展注入了新活力。本文系统考察了金融科技对商业银行绿色信贷的影响,研究发现:商业银行的金融科技水平越高,绿色信贷业务规模越大,地区数据基础设施和银行人才储备是影响金融科技促进绿色信贷发展的重要因素。机制检验表明,金融科技能够发挥数字技术优势,助力商业银行提升经营效率与风险管理水平,进而增强其开展绿色信贷的意愿和能力。异质性检验表明,金融科技的作用在不同的宏观政策和银行
期刊
<正>笔者认为中医治疗急性胃炎应把握病证结合,胃宜通补和调理气机三点原则,在选方上应依病选方、依效选方、依法选方,并且吸取了古今医家经验,结合自己的体会,将急性胃炎的常用治法
会议
<正>如果从中国出现最早的乐器算起,中国音乐经过了近万年历史发展进程。在“自创”和“吸纳”的过程中,中国音乐逐渐形成了一个完整的“系统”。其中,既拥有乐器、乐曲、演奏形式等音乐实践层面的丰富性,也创造了乐调理论、审美内涵、人文特性等音乐理论层面的独特性。这并非中国人的自夸,是世界上有关多元音乐认知的共识。然而,近一百年的中国音乐也曾在传统音乐与西方音乐的交流碰撞中徘徊。因此,音乐领域中的“文化自信
期刊
厘清四川省甘洛县泥石流灾害的发育规律以及灾害特征有利于减轻泥石流灾害对人民生命财产造成的威胁和负面影响。通过遥感解译,结合GIS空间分析,对甘洛县境内发育的63条泥石流沟进行调查,研究泥石流灾害与孕灾环境的关系,对泥石流灾害的发育规律以及灾害特征进行研究,得到以下结论:(1)甘洛县泥石流沟以小型规模为主,有53条,泥石流灾害空间分布不均,主要集中分布在前进乡和吉米镇,点密度达24.31个/100k
期刊
鲁坑储木场冲沟泥石流主要由于强降雨情况下,沟道内滑坡体堆积物堵塞沟道,在冲沟上游较大的汇水情况下,形成密度高、冲击力强的泥石流。通过FLO-2D软件,结合现场调查、试验得出的泥石流流体物理力学参数,开展泥石流的模拟工作。模拟成果总体上较好地反映了泥石流的特征及运动情况,可以用于区域泥石流的预测预报工作。
期刊