【摘 要】
:
当今,传统单机的存储模式已经无法满足用户对体量巨大数据的存储需求,分布式存储的理念为解决当前海量数据存储的问题提供了新思路。分布式存储系统一般采用分治策略将存储数据分布在多个存储节点上;同时引入数据容错机制保证数据的安全与完整,并以容错机制的规则进行节点修复。因此存储节点选择与失效节点修复技术也成为研究分布式存储系统的两个关键的切入点。本文中存储节点选择部分的工作主要聚焦于Ceph分布式存储系统,
论文部分内容阅读
当今,传统单机的存储模式已经无法满足用户对体量巨大数据的存储需求,分布式存储的理念为解决当前海量数据存储的问题提供了新思路。分布式存储系统一般采用分治策略将存储数据分布在多个存储节点上;同时引入数据容错机制保证数据的安全与完整,并以容错机制的规则进行节点修复。因此存储节点选择与失效节点修复技术也成为研究分布式存储系统的两个关键的切入点。本文中存储节点选择部分的工作主要聚焦于Ceph分布式存储系统,Ceph中存储节点选择算法在执行多副本节点选择流程时仅以存储节点当前剩余容量作为选择标准,但是当存储节点间网络状况出现波动、存储节点内部负载由于其他业务而变大时,Ceph的读写性能也随之降低。因此也有必要将存储节点间网络状况和存储节点负荷作为评估存储节点选择方案优劣的指标。失效节点修复部分的工作主要基于使用纠删码类容错技术的分布式存储系统。相比于多副本容错方式,传统的纠删码的容错技术可以有效提高分布式存储系统中存储空间利用率,但在数据恢复过程中会带来较大的网络开销。因此目前一般使用再生码等改进的纠删码方式减少数据传输量。基于再生码的失效节点修复过程需要考虑存储节点网络拓扑与网络状况并以此构建包含以新生节点为根,其余节点为参与修复节点的带宽最优修复树,现有文献与工作大多使用近似局部最优的修复树构建方法求解该问题,在节点修复时间上未达到全局最优。本文针对以上的节点选择问题与单节点故障修复问题所做工作及创新点如下:(1)在节点选择方面:优化Ceph节点选择算法需要对测量网络性能与节点负荷,但是网络测量需要各种仪器与各种其他开销,一般较难部署。本文设计了基于软件定义网络(SDN,Software Defined Networking)技术的Ceph分布式存储系统,改进了Ceph传统的存储节点选择策略,首先利用SDN技术获取网络性能和节点负荷状况,以简化网络配置和减小测量开销,然后通过建立并求解出综合考虑了网络和主机等多种因素的模糊多属性决策数学模型,以该问题的解为参考调整存储节点权重来达到存储节点选择的目的。(2)在节点修复方面:本文提出了一种基于遗传算法的分布式存储故障节点修复树的构建方案,该方案考虑了存储系统的网络拓扑结构和链路带宽性能,以此在构建求解的遗传算法中,设计了与背景相关的编码方式、交叉和变异算子,以期达到构建瓶颈路径带宽最大的最优修复树,得到这一问题的近似全局最优解。
其他文献
国家经济飞速发展,一、二线城市常住人口也越来越多,部分城市原有的公交系统已不能完全满足人们的出行。地面交通不断完善的同时,地下交通的开发应运而生。地铁很好的缓解交通压力,一条条地铁线路从规划、施工到投入使用,都在几年内完成。但是地铁施工涉及很多深基坑开挖工程,这就存在很多工程安全隐患值得我们关注,研究深基坑变形规律具有很重要的现实意义。本文以广东某地铁车站为工程背景,采用理论计算、数值模拟和现场施
本文通过对遗产整体性保护与遗产游憩地空间模式的探讨,以八旗粮仓为案例,从一个崭新的角度,探讨企业转型和开发商推动下进行的遗产整体性保护和开发工作的可行性。提出了基
目的:了解我院早、晚发型新生儿败血症的病原菌分布特征、细菌耐药性及抗菌药物的使用状况,为临床诊治新生儿败血症提供参考依据。方法:对我院2013年1-10月117例第一诊断为新
回路电阻测量是GIS交接试验和例行试验中的一个主要项目,其目的是检查电气设备安装质量和回路的完整性。在综合考虑GIS内装导体常见的连接方式、影响GIS主回路电阻的因素和GI
针对大学生炒股现象,对辽宁5所高校的2000名学生进行调研,获取了在校大学生炒股的第一手资料。分析了大学生炒股的动机和特点,提出对炒股学生多关心、多指导,增强教育管理的
与美国汽车露营百年历史相比,中国的汽车露营只是一个新兴的产业,还处于起步阶段。本文首先阐述我国汽车露营发展的现状,然后试图运用SWOT分析方法,对比美国汽车露营的发展来
为了有效的帮助青少年提高身体素质以及响应国家号召,寻找适合青少年身体特点的锻炼方法和活动形式,本研究从局部入手,创编了一套力量素质操来帮助学生进行力量素质练习,通过这套力量素质操在初一年级女生体育课练习中的运用实验研究,为后期研究者们在如何提高学生身体素质方面提供新的练习方式思路,为相关学者研究提供理论参考和依据。本研究采用了文献综述法、实验法、问卷调查法、教学实验法、数理统计法等研究方法进行实验
用未知函数的适当代换,给出二阶线性非齐次微分方程的一个求解公式。并具体应用于某些变系数二阶线性微分方程及二阶常系数非齐次线性微分方程。
随着我国法律建设的不断推进,人们的劳动保障权益得到了有效维护,是劳动保障监察执法工作有效开展的重要体现。在不断加强法制建设的过程中,劳动保障监察执法工作与社会和谐
为了全面了解物流企业对高职院校物流专业毕业生的需求情况,本文采用问卷调查的方法对本市44家物流企业进行了调查。根据调查结果,从高职物流专业毕业生与企业需求的匹配度、