基于持久内存的分布式小对象存储系统的设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:zj3132
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在存储系统领域,现有的分布式存储系统,受限于传统的硬件设施,只能通过在系统存储总量、存储的数据数目和系统的整体性能这三者之间做取舍的方式来满足不同存储场景的需求。比如面向大文件场景的HDFS具备较高的系统容量,但是却无法存储大量的小文件;面向小文件的TFS可以存储大量的小文件,但是却无法提供较高的读性能。但日渐活跃的人工智能、物联网以及云计算等领域迫切需要一个可以满足其海量小尺寸数据存储需求的分布式高性能存储系统。因此,本文基于傲腾持久内存设计了适配持久内存的分布式小对象存储系统,并详细地阐述了系统涉及的理论基础、设计思路、实现方案以及测试分析。本文具体的工作内容如下:1.本文对传统的分布式存储系统极其基础理论知识进行了详细的调研。选取弱中心的分布式集群管理方案来兼顾系统管理的复杂度和集群的横向扩展能力。弱中心节点采用一主多从的集群方案,以解决中心节点的单点故障问题并提供高可用的服务能力。2.通过对持久内存的特性、平台和操作系统对持久内存的支持、持久内存感知的文件系统等的详细调研和分析,本文提出了一种安全的硬件级别的数据分层存储模型。该模型中,DRAM作为接收网络报文的中转空间,持久内存作为所有的热点数据和大部分的管理数据的存储空间、底层的大容量磁盘作为冷数据的存储空间。3.系统充分利用了持久内存的大容量特性,引入了全局细粒度索引机制,以实现缓存和磁盘数据的快速定位。4.通过对持久内存编程模型以及相关持久内存定制的数据结构的适配,系统实现了真正的故障一致性。最后,对系统的功能和性能进行了针对性的测试,测试的结果表明,本系统可以完成对大量小尺寸数据的高性能存储需求,并且系统可以保证服务的高可用性数据的高可靠性以及较高的横向扩展能力。
其他文献
在全球经济下行的背景下,进行新形势下的战略转型迫在眉睫。针对资本市场,我国连续出台多项政策进行大刀阔斧的改革。我国新三板一直存在挂牌企业估值较低、流动性不足、企业融资困难等一系列问题,导致一大批优秀的新三板企业积极谋求转板。那么,新三板企业如何成功转板并上市,转板的效果如何,是否解决了发展过程中的困境,已成为学术界和实务界亟需解决的热点问题之一。本文以首家从新三板转板登陆科创板的医疗器械企业——南
现实生活中不断产生大量的短文本数据,例如新闻文本,美团、大众点评等网站上用户发表的针对某些方面的评论。文本数据的产生必然伴随着对数据的归类,如何提升分类效率,减少人工成本,这便是文本数据分类的研究方向。此外从这些海量数据中挖掘出用户的情感,有助于精准地刻画用户,从而辅助平台进行针对性的提供服务。然而,目前大多数方法都忽略了文本单词之间的联系或是方面词与上下文之间的联系,导致分类性能表现不好。本文主
西双版纳哈尼族阿卡人是分布于我国西南边陲云南地区的少数民族和跨境民族之一,竹筒舞是阿卡人物质生活与精神文明的结晶,是承载着民族历史文化、生产生活、宗教信仰、思想情感、审美理想的活化石。近年来,哈尼族舞蹈不断出现在大众视野中,不仅被推选为省级非物质文化遗产,也逐渐有优秀的舞蹈作品出现于舞蹈专业赛事中。竹筒舞蹈表现内容多元性、风格动律独特性、外部形态丰富性、文化内涵深邃性,由内而外显示出竹筒舞朴实无华
目前常见的脑功能成像技术包括脑电图、功能磁共振成像技术和功能近红外光谱技术等。脑神经活动会引起血流动力学变化,功能近红外光谱技术利用脑组织中氧合血红蛋白和脱氧血红蛋白红对600~900nm近红外光具有较强的吸收率,从而获得脑神经活动时氧合血红蛋白和脱氧血红蛋白浓度的变化情况。功能近红外光谱技术与脑电图相比具有较高的空间分辨率,与功能磁共振成像技术相比具有良好的时间分辨率,同时f NIRS在设备成本
磁共振成像不仅可以进行结构成像,也可以进行功能成像,因此磁共振功能成像被广泛应用于脑功能研究中。在主磁场强度B0为3.0T及以下的磁共振扫描设备中,常使用平面回波成像序列进行功能成像。平面回波成像序列由于其特殊的梯度编码方式实现了一次射频脉冲激发采集整个K-空间数据,使其能够在很短的时间内完成全脑的扫描,但是这种特殊的成像方式也给平面回波成像序列引入了伪影以及低分辨率的问题。由于功能磁共振成像使用
随着深度学习的发展,基于深度学习的目标检测技术逐渐成为计算机视觉领域的一个研究热点。然而现有的目标检测算法通常无法做到检测效率和精度的平衡。其次,目标检测算法只能预测物体的边框坐标,无法精确到物体的轮廓,因此如何在保证检测效率的同时,使目标检测算法可以精确到物体的轮廓是一个待解决的问题。此外,由于目标检测数据集的标注较为复杂,需要耗费很多的时间成本以及人力成本,而现实场景中的物体分布和背景通常在不
伴随着因特网和各类信息技术的蓬勃发展,世界已经从信息匮乏时代迈向信息过量时代,促使越来越多的研究者把目光投向于对推荐系统的研究,希望借助推荐系统的力量来帮助人们自动过滤信息,降低信息筛选成本。在本文中,我们将研究视角聚焦到具体的饮食领域。吃穿住行是人们日常消费的四大领域,其中“吃”被排在第一位,足以说明其重要性。为了满足用户饮食决策需求以及指导用户进行烹饪,诞生了各种各样的食谱网站,他们精心搜集食
射频识别(RFID)技术是物联网的关键技术之一,越来越广泛地在各个领域得到应用。超高频RFID读写器系统在接收过程中,发射连续载波,无源标签在接收后,将带有标签信息的反射波返回给读写器。在这个过程中,读写器持续发射的连续载波,由于链路泄露或者通信环境等原因导致残留,形成自干扰信号,与读写器接收的有用信号叠加、覆盖,使得读写器无法正常地完成对有用信号的接收和解析。因此,在超高频RFID系统工作过程中
计算机软件正在逐步渗透至人们生活的各个领域,人们对于软件的质量也有了更高的需求。在软件开发的各个阶段分别加入完整软件测试过程,可以保证测试的充分性及软件的可靠性和安全性。其中测试用例的设计往往是主要问题所在,自动化的测试用例生成已成为人们关注的重点。基于数据流的测试用例生成主要是利用搜索算法,来生成满足数据流覆盖准则的用例。相比于控制流覆盖准则,数据流覆盖准则不会丢失方法之间的数据流交互关系。在测
射频通信的发展对收发系统提出了更加严苛的指标要求,随着5G技术在通信领域的商用,针对5G频段庞大的芯片市场,5G芯片的研究具有重要意义。其中功率放大器作为收发系统中最为关键的一环,决定整个模组的发射效率,同时在很大程度上决定了整体功耗。鉴于此,本文使用2μm砷化镓HBT工艺针对5G RF1频段设计了一款频带为50MHz-6GHz的高增益驱动放大器。频段不仅覆盖5G RF1频段,也能用于TD-LTE