基于云边协同的边缘分布式存储系统的设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:zxc00663340
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着边缘计算的蓬勃发展,越来越多的计算任务将下沉到边缘节点,这些计算任务在边缘采集、处理并存储海量数据。伴随着数据量的不断增长,边缘有限的存储能力将不再足以支撑边缘计算所产生的数据量。传统的分布式存储系统所面向的存储场景多是大型存储机房,并且出于通用性考虑,往往同时提供文件、块、对象存储功能,而这会使得存储系统过于臃肿,运行这类存储系统会过度消耗边缘的存储和计算资源,从而影响边缘计算任务的执行效率。所以本文针对边缘存储资源有限,存储环境复杂,网络不可直达等问题,基于Kubernetes设计并实现了一种面向边缘场景的轻量化、易扩展、高可用的分布式存储系统。本文主要研究内容如下:1)考虑到传统分布式存储系统与Kubernetes关联性不强,不能充分发挥Kubernetes的原生能力,本系统将存储系统部分功能剥离,借助Kubernetes原生功能实现,从而精简传统分布式存储系统的整体架构。基于Kubernetes编写云端控制器组,实现对边缘存储资源的管理和控制。控制器组实时收集边缘的存储资源使用情况,并针对存储任务制定高效的存储计划,将存储任务下发到合适的边缘存储集群。2)边缘网络环境复杂,本系统设计并实现了一种能够跨网通信的代理服务网格框架,代理服务网格通过云端控制器组分配网段资源,在边缘以隧道的形式连通跨网的存储节点,实现边侧存储节点的水平扩展。为应对边缘过量的冗余服务网格资源占用,本文提出多代理群集分割策略,对边缘的冗余网格进行分割,从而降低边缘的资源消耗。3)针对边缘复杂多变的存储环境,设计并实现了一种多维特征存储资源调度算法,边缘存储主控服务实时收集并更新各存储节点的存储特征信息,从存储节点CPU、内存、存储空间、网络延时、近邻存储资源拓扑图等多维度计算,决定存储资源的调度分配。本系统在仿真的边缘存储环境下,分别做了功能测试和性能测试,测试结果表明,本系统的功能能够在边缘场景下正常运行,另外,通过与传统分布式存储系统进行对比,本系统具有稍好的性能。
其他文献
随着社会的高速发展,如何培养适应新时代要求的优秀人才成为国家的重要关注点。“核心素养”的提出为此指明了方向,学科教育不能单纯的停留于课堂而脱离现实生活,也不能局限于灌输知识,要充分发挥学生的主观能动性,实现全方位的发展。在教育部发布的《普通高中化学课程标准(2017年版)》中,提出了“以大概念为核心,开展学科核心素养教育”的要求。大概念理念强调内容结构化、系统化、逐步深入最终掌握知识背后蕴含的基本
学位
古典印相工艺作为一种独特的摄影表现语言,以其独有的艺术魅力出现在越来越多的摄影展览中,而古典影像的呈现方式多为单幅陈列式展览,笔者在实践工艺技法的同时也开始思考能否将古典印相工艺与手制书相结合,探索古典印相工艺的呈现方式与摄影手制书发展的新思路。手制书作为一个表现形式多样的艺术综合体,通过对不同物质材料、制作工艺和技术手段的应用,能够满足观者个性化、多元化的阅读体验和审美需求,不仅能丰富古典印相工
学位
高级持续性威胁(Advanced Persistent Threat,简称APT)指的是由高级攻击者利用先进的攻击手段对特定目标进行持续时间长的网络攻击。基于主机的检测和基于网络的检测是两种有效检测APT攻击的方法。基于主机的检测通过检测独立主机上的恶意行为从而发现APT攻击,基于网络的检测通过发现异常的网络数据信息进而检测APT。无论是基于主机的检测还是基于网络的检测,都使用到了机器学习方法。近
学位
《普通高中英语课程标准(2017年版)》指出高中英语课程的总目标为培养学生的语言综合能力,其中写作能力的培养对提升学生的语言综合能力至关重要。而当前高中英语写作教学现状不容乐观,教师通常将阅读教学与写作教学分开,学生语篇衔接意识薄弱也导致了写作缺乏整体的逻辑性和连贯性。因此,本研究将衔接手段的讲授融入到写作教学中并将阅读与写作教学相结合,探索基于语篇衔接理论下“以读促写”教学模式对高中生英语写作的
学位
牙齿再生是目前口腔研究领域的热点之一。如何获得具有诱导成牙能力的种子细胞,是成功构建再生牙齿的核心环节。既往研究以牙齿再生为目标,报道了多种可参与再生牙齿构建的种子细胞。但是,若非借助牙胚来源的部分细胞或组织,研究人员尚无法实现仅基于成体获得的种子细胞的再生牙构建。因此,进一步地通过剖析发育过程中能发出成牙指令、或者具有诱导成牙潜能的牙胚细胞更全面的特征,将为明确再生牙构建所需的种子细胞的特征,提
学位
成渝地区双城经济圈是继京津冀、长三角、粤港澳大湾区后的又一个国家级区域发展战略,其目标是形成具有全国影响力的“一极两中心两地”,这也是现阶段我国所提倡的经济高质量发展事业的题中应有之义。公共服务一体化是推进成渝地区双城经济圈一体化建设的重要内容,通过收集相关数据,发现目前川渝两地已经在教育、医疗卫生、住房、就业、社会保障等与基本民生相关的领域开展合作,实现经济圈内的资源共建、共享,人民生活水平质量
学位
随着全球用水量持续上涨,区域缺水现象增多,导致地下水严重超采,进而造成地面沉降、地基变形等地质灾害的发生,严重损害人民生命财产安全,所以采用先进技术手段对地下水进行探测具有重要意义。地面核磁共振(Surface Nuclear Magnetic Resonance,SNMR)通过对地下水中氢质子的共振跃迁进行探测,可以定量表征地下水含量和储水介质的孔隙大小,是一种高效、非破坏性探测地下水的地球物理
学位
高级持续性威胁(Advanced Persistent Threats,APT)是一种入侵时间长,隐蔽性高,攻击手法多样且多变的持续性系统入侵。这种威胁已经给企业、政府等组织带来沉重的损失。近期针对这种攻击的检测方法多是基于机器学习、深度学习和图方法来分析系统实体联系或用户、主机行为的。APT攻击在不断发展中的攻击技术是不断更新和变化的,针对APT特性的检测方法的提出是重要的。然而现有的大多检测方
学位
潜在的网络安全问题促使研究人员急需搭建一个可控、可管、可信、可按需定制的网络实验平台,使之能够模拟各种可能遭遇的网络攻击场景。在这种背景下孪生网络诞生了,作为数字孪生网络的虚拟部分,具有与真实被测网络一致的拓扑结构,部署着与真实被测网络一致的业务应用等。孪生网络的构建离不开真实被测网络,虽然现实中存在数千甚至上万节点规模的真实被测网络,但是在实验室环境下,很难用真实的物理设备去构建如此大规模的被测
学位
随着互联网的发展与进步,各种社交网络应用产生的数据量呈指数增长,此类数据是人类自然社会关系的直观表示,存在网状拓扑复杂和跨媒体异构等特点,可从中挖掘出更深层次的语义信息。但是,目前在此类社交网络用户数据的存储与处理技术方面依然存在一些必须解决的关键问题,包括:1)如何针对社交网络中海量用户的网状拓扑和用户属性信息进行高效爬取,形成对图数据的导入能力;2)如何对网状拓扑数据进行高效存储引擎设计,以提
学位