分布式集群系统数据一致性及负载均衡优化研究

来源 :东华理工大学 | 被引量 : 0次 | 上传用户:Wangjun33
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据一致性、数据可靠性和负载均衡是分布式存储系统需要解决的三大难题,数据分布状况直接影响集群负载均衡性能。因此,分布式存储系统中如何设计优秀的分布式负载均衡算法尤为重要,具体体现在以下方面:(1)常见的负载均衡算法无法保证磁盘文件分布均匀,尤其是在集群扩展的情况下,容易导致新增的节点和旧节点数据量不均匀。(2)分布式集群数据及状态的一致性无法得到保证,在路由表或者集群状态切换时,容易发生数据不一致。(3)传统的开源分布式存储系统,由于代码量巨大,系统复杂,无法针对已有的业务特点进行优化。本课题分析已有的分布式存储的框架结构及其系统,重点研究了GFS、CEPH和Bule Store三款分布式存储系统的工作原理和机制。课题重点解决了分布式存储系统的数据一致性、可靠性和负载均衡的问题。具体的工作如下:(1)分析了GFS、CEPH和Bule Store三款分布式存储系统优缺点,设计出了基于Paxos算法的Crush路由表的分布式存储系统,对Crush算法进行路由表化。Crush路由表是一个绝对随机的路由表,能够可靠高效的将对象复本在异构、结构化的集群上进行均匀分布。Crush路由表是通过最小的堆算法计算得出,路由表的设计目标就是用来优化数据分布,并充分利用分布式存储系统资源,在设备添加或删除时,有效的组织数据,并对数据副本定位施加灵活的限制,使得数据安全在数据相关的硬件失效情况下能保证数据的可靠性。(2)Crush路由表采用基于Paxos算法的一致性存储,保证数据存储的一致性,这是Crush路由表的具体应用。(3)设计出了高效的分布式存储系统。系统采用reactor的通信模式,能够更好的融合RDMA、SPDK等先进的通信和存储技术。在本分布式存储系统中,引入了EC算法保证了数据可靠性。在实际应用过程中,本分布式存储系统还针对业务数据的特点,引入了慢盘规避、内存池优化、预读优化等。课题中针对持续压力、扩容缩容、宕机等场景下的性能和稳定性进行重点测试,测试结果表示,系统在三种场景下表现平稳。由此可以证明基于Paxos算法的Crush路由表具有优秀的性能。
其他文献
中学生物教学改革的不断创新,推动着生物教学研究逐步由理论层面向实际教学层面转变。教学模式是连接理论和实践的桥梁,既是对教学理论的应用,为教学实践指明方向,又是将教学实践理论化、简约化,可以丰富和发展教学理论。“6+1”教学模式是基于自主编写的“导学提纲”、“限时训练”,并依照“导-思-议-展-评-检+练”共6个教学步骤加上1个课后训练的模式展开的一种新型教学方式。本文通过深入剖析研究该模式,并根据
南雄、塘洞断裂带位于华南板块的诸广矿集区,是研究我国华南地区花岗岩型铀矿床的重要断裂带之一,带内广泛分布极具特征的糜棱岩或糜棱岩角砾,蕴含着丰富的地质信息,并记录了诸广矿集区内多期的构造事件。本文以粤北诸广矿集区中的南雄、塘洞断裂糜棱岩带为研究对象,在前人研究的基础上,通过野外宏观构造观察与室内显微构造学相结合的方法,对带内的糜棱岩开展了详细的显微构造镜下观察、X射线石英岩组组构分析、古差异应力值
横涧铀矿床是相山铀矿田北部典型的与花岗斑岩有关的铀矿床,矿石中富集重稀土元素。研究该矿床稀土元素地球化学特征及赋存状态,对矿床成因和稀土元素的综合利用具有重要的指导意义。论文通过对研究区进行野外地质调查、样品采集,结合镜下薄片鉴定、扫描电镜分析、电子探针分析和主量与微量元素地球化学分析等手段,对横涧铀矿床稀土元素的地球化学特征及赋存状态进行了研究,得到以下几点结论:(1)横涧铀矿床矿石和围岩元素地
金属有机框架(MOFs)材料是一类有机配体与金属离子通过配位键形成的有机-无机杂化材料。近年来,随着研究人员对MOFs材料的深入研究,人们发现MOFs材料在气体吸附分离、铁电、传感器、荧光和催化等领域有着潜在的应用前景。本论文选取金属铀为MOFs材料的中心金属离子,同时引入不同类型的含氧羧酸配体,通过水热法合成了六个铀酰配合物,对所得产物进行了X-射线单晶衍射、粉末衍射、红外光谱、紫外光谱、热重等
温度巡检仪是温度计量工作中的重要检测仪器之一,其主要应用于医疗、食品、水电、水利等行业的温度测量,适用冷库、医院、通讯机房等重要的环境场所。市场上大部分温度巡检仪在数据采集方面对人工的依赖度程度较高,无法满足特殊环境中的温度校准,例如冷库、生化安全实验室等。在数据处理方面也未实现自动化,伴随而来的问题是出错率高且工作效率低。国内外市场的温度巡检仪价格昂贵,每台售价30000元到70000元不等,无
我国近年来高度重视扶贫工作,一系列扶贫战略和扶贫思想提出并发展,2013年底首次明确提出了精准扶贫这一重要理念,该理念富含极其深刻的时代意义,目前我国农村扶贫已取得明显成效。2021年2月25日,在全国脱贫攻坚总结表彰大会上,习近平总书记宣告:“我国脱贫攻坚战取得了全面胜利”,至此我国完成了消除绝对贫困的任务,这一历史成就离不开党中央的决策部署,也离不开各级党委政府的艰苦奋斗。而基层政府是脱贫攻坚
随着中国经济的快速发展,在海外投资建设的矿山项目越来越多。矿产资源的持续开采与加工利用在促进当地社会经济发展的同时,不可避免地会占用矿区周边的生态资源,造成矿区内土地退化、植被破坏、水体和土壤污染,使得矿区及周边区域受到的污染日趋严重。为贯彻绿色矿山理念、及时修复采矿对生态环境造成的影响,促进区域经济的可持续发展,需要对境外矿区进行及时、准确、高效的监测管理。传统的矿区监测方法以人工调查为主,持续
林西—乌兰浩特地区处于天山—兴蒙造山系与华北陆块复合部位,是古生代古亚洲构造成矿域与中生代滨西太平洋构造成矿域叠加区域,构造火山活动强烈,成矿地质条件优越,已发现有百余处铀矿床、铀矿(化)点及众多中—大型多金属矿床,是我国重要的火山岩型铀成矿远景带和多金属成矿带。林西—乌兰浩特地区铀矿地质工作程度较低,以往铀成矿预测研究多基于中小比例尺定性分析,受当时基础地质工作程度低、物化探资料匮乏等因素限制,
随着摄影测量技术的快速发展,4D产品中的数字正射影像,具有精度高、识别简单、可读的地理信息数据之多、容易放大缩小等诸多优点,在国民经济和社会发展中起到了非常重要的作用。生产数字正射影像的步骤包括影像预处理、影像匹配、影像定位、影像拼接和影像输出,其中影像拼接是生产数字正射影像的关键技术步骤,影像拼接是将无人机拍摄有重叠区域的航空影像数据经过处理后,拼接成一张数字正射影像图的过程。就目前的发展阶段来
库鲁克杰列克河上游地区位于天山褶皱带西段与准噶尔微板块西段-阿拉套褶皱带交汇部位,为别珍套山华力西褶皱带的东段部位,华力西中晚期岩浆活动频繁,具备良好的铀成矿地质背景,研究区花岗岩型铀矿主要赋存在华力西中期花岗岩与青白口系的外接触带中,主要受背斜构造和断层控制,且与中基性、中酸性岩脉的关系较为密切。但研究区花岗岩和青白口系外接触带的空间展布特征尚不清楚、背斜构造及断裂的发育特征还未查清,中基性、中