面向多租户云存储系统的性能隔离技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:yueaimeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息技术的发展促使数据规模急剧增长,进一步推动了云计算技术的发展与成熟,使得越来越多的企业和个人将业务或应用迁移到云计算平台上。在云计算平台中,云服务提供商往往采用共享服务架构,并通过虚拟化技术向用户交付服务。比如将租户应用部署在虚拟机内,而虚拟机共享计算、存储和网络等物理资源。共享服务架构能够提高资源利用率并降低管理成本,但会引入资源竞争,使得租户间的性能相互干扰。云存储系统作为存储服务的载体,是云计算平台的核心组件。如何通过云存储系统向租户提供可靠以及受保障的存储服务成为一个非常重要的研究课题。然而多样的租户需求以及复杂的云存储系统I/O栈为租户间的性能隔离带来挑战,针对这一挑战本文采用软件定义的方法分别在分布式文件系统层、存储节点端本地文件系统层以及存储介质层提出相应的性能隔离方法。
  针对分布式文件系统层租户请求和数据恢复请求之间的冲突,提出基于数据恢复感知的性能隔离方法CoPR。在云存储系统中,性能隔离是一种不可或缺的技术手段。但当分布式文件系统向租户提供存储服务时,会不可避免地出现故障。为保障租户数据的可靠性,分布式文件系统需尽快恢复丢失的数据。租户请求和数据恢复请求争用共享资源导致两者之间产生冲突。现有研究方案往往只能保障租户性能或数据恢复性能中的一个方面,无法解决两者之间的冲突。针对以上问题,CoPR在分布式文件系统层实现数据恢复感知的性能隔离,兼顾租户性能和数据恢复性能。具体而言,CoPR实现一个双层调度架构,第一层调度器通过强化学习的方法实现租户请求和数据恢复请求之间的资源分配,在不引起租户SLO(Service Level Objective)违约的前提下将剩余资源分配给数据恢复请求,进而优化数据恢复性能;第二层调度器采用软件定义的方法,在控制平面将租户的性能需求记录在虚拟块设备的元数据内,在数据平面则根据租户的性能需求实现虚拟块设备粒度的资源分配。实验结果表明,CoPR相比于Ceph能够实现性能隔离的目标,并减少35.8%-55.8%的数据恢复时间。
  针对存储节点端本地文件系统对存储资源使用的影响,提出基于文件系统行为感知的性能隔离方法SDFS。在云计算平台中,计算节点和存储节点能够通过网络文件系统互连,虚拟机运行在计算节点上,虚拟机的虚拟磁盘以大文件形式存放在存储节点上。此时虚拟机对存储资源的使用不仅取决于应用特征,也取决于存储节点上本地文件系统的优化行为,比如延迟写机制会推迟写请求、日志机制会放大写请求等。现有隔离方案没有考虑文件系统的影响,导致存储资源的使用情况难以确定,并进一步恶化租户间的性能干扰。为解决以上问题,SDFS感知存储服务器端本地文件系统的优化行为,控制存储资源的使用,进而实现租户间的性能隔离。在控制平面,SDFS通过自定义系统调用将租户性能需求记录在虚拟机镜像文件的元数据内,然后通过跨层标记传播租户性能需求。在数据平面,SDFS分别构建页缓存I/O调度器和块层I/O调度器,并根据租户性能需求分配内存和磁盘资源。实验结果表明,SDFS相比于典型的Hypervisor层性能隔离方案Pulsar能够降低76.4%的租户间性能干扰。
  针对NVMeSSD(Non-Volatile Memory express Solid-State Drive)内缓存竞争和垃圾回收带来的性能干扰,提出基于非对称资源分配的性能隔离方法CostPI。NVMeSSD具有高吞吐率、低延迟以及低功耗等优点,因此在云计算平台中得到了广泛的部署和使用。为实现基于SSD的性能隔离,现有研究方案将共享的SSD以统一粒度划分为不同的物理存储区域,再分配给不同的应用。然而现有物理隔离方案无法解决SSD内嵌入缓存层的资源竞争,此外还会导致资源不充分利用以及磨损不均衡等问题。为解决以上问题,CostPI通过非对称资源分配实现全隔离虚拟SSD和半隔离虚拟SSD,其中全隔离虚拟SSD为延迟敏感应用提供存储服务,拥有专享的资源,包括数据缓存、映射表缓存和NANDflash,而半隔离虚拟SSD为吞吐率需求和容量需求应用提供存储服务,拥有共享的资源。CostPI在控制平面通过配置文件个性化定制虚拟SSD;在数据平面根据定制策略进行请求调度和资源划分,具体包括NVMe队列层的SLO感知仲裁机制、嵌入缓存层的非对称缓存划分和NANDflash层的通道粒度闪存分配。实验结果表明,CostPI相比于典型的物理隔离方案FlashBlox能够降低44.2%-89.5%的租户间性能干扰,并提高11.4%的系统资源利用率,同时还能够优化SSD的不均衡磨损。
其他文献
微波光子技术结合了微波技术和光子技术的各自优势,有望解决传统雷达难以实现的宽带信号产生和处理问题。然而现有的微波光子系统大部分基于分立器件构建,存在着重量大、体积大、成本高、可靠性差、易受环境影响等问题,严重制约了微波光子技术在雷达系统的实际应用。微波光子系统集成化是解决上述问题的重要途径,也是现阶段微波光子技术的研究焦点。  本文以集成微波光子雷达为研究方向,围绕其中的滤波、延时、移相及系统验证
保障智能卡、射频识别、无线传感器网络等资源受限设备的信息安全,已成为密码学领域备受关注的科学问题。为能更好实现密码性能在安全与高效之间的有效兼顾,本文对基于动态轮数的混沌分组密码开展研究。主要研究内容说明如下:  针对有限运算精度造成混沌系统动力学特性退化,通过统计测试分析得出量化方法和参数设置对数字混沌特性的影响规律,采用级联和扰动的补偿方式构建动力学特性显著增强的数字混沌模型,从而更好满足混沌
学位
量子信息与量子计算领域中两个著名的研究成果——BB84密钥分配协议(Bennett-Brassard protocol proposed in 1984)和Shor的质因子分解算法——均对现有的密码体系产生了深远的影响。然而,更具广泛应用前景的Grover迭代算法在穷举搜索之外的密码学应用还未经充分研究。此外,另一类典型的量子迭代运算过程——量子随机行走——的非马尔科夫模式(或具有记忆的量子行走算
数据建模是机器学习和人工智能领域的重要研究问题,聚类分析可以有效地挖掘数据内在的模式和规律。复杂网络(图数据)作为新的研究热点,对理解社会复杂系统有着重要的作用,可以有效地用于推荐系统、恐怖组织挖掘等问题。近年来,网络结构的动态演变给社团检测建模提出了新的挑战,如何采用高效的学习模型挖掘动态复杂网络内在的规律,实现社团检测和演化分析,成为动态复杂网络研究的重点。从动态复杂网络中节点重要性、社团结构
语义分割旨在为图像中的每个像素分配一个预定义的语义类标签,使计算机能够通过视觉的方式对场景进行细粒度地理解。该技术被广泛应用于自动驾驶、城市规划、智能家居等任务中,是计算机视觉领域的重要分支。近年来,基于深度卷积神经网络的分割技术将任务性能提升到了一个新的水平。然而,现有的深度学习方法需要大量的像素级人工标注图像作为训练数据,使得这些方法所需的时间和金钱成本十分昂贵。为了减轻手工标注数据带来的沉重
学位
异构并行系统通常是指由中央处理器(Central Processing Unit,CPU)与图形处理器(Graphics Processing Unit,GPU)、现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)等协处理器共同组成的计算方式异构的高性能计算系统,因能提供更为高效的应用加速能力而被广泛部署,在大数据、人工智能等众多关键领域得到了广泛应用。当
Android(安卓)操作系统占据了智能终端操作系统的大部分市场份额,搭载Android操作系统的智能设备成为主流。由于移动智能终端携带了较多的用户隐私信息,同时Android应用的安全机制存在一定的局限,导致Android应用可能存在严重的安全隐患。需要对Android应用的安全机制特别是权限机制进行深入的研究,分析Android应用中的权限安全风险。同时关注和研究Android应用的安全漏洞,
学位
由于互联网信息的快速增长,用户面临着信息过载的问题。借助数据挖掘和人工智能领域中的相关技术,推荐系统能够帮助用户快速找到其感兴趣的信息,在社交网络、电子商务、在线阅读和广告投放等领域得到了广泛的应用。随着互联网应用的多元化发展,传统的推荐模型难以直接运用到新领域中以解决相应的问题。  以智能手机,笔记本电脑等为代表的电子产品更新换代通常较为频繁,而用户对于此类产品的消费周期则相对较长。传统的推荐系
学位
随着计算机软硬件技术的飞速发展,传统的动态随机访问存储器(Dynamic Random Access Memory,DRAM)因其存储能耗大、存储密度小、可扩展性有限等缺点已经无法满足应用越来越大的内存需求。新兴非易失性存储器(Non-Volatile Memory,NVM)尽管可以避免此类问题,但因其访问时延高、写次数有限及写功耗大,也无法直接作为系统内存。因此,混合使用小容量DRAM和大容量N
学位
随着计算机网络的发展以及智能手机等多媒体获取设备的普及,多媒体数据呈爆炸式增长,其中图像和视频数据已经成为大数据时代的主要数据类型。如何在海量的图像中以较小的时空开销准确找到用户感兴趣的图像成为多媒体领域的研究热点。针对图像的底层特征与高层语义间的“语义鸿沟”问题,以及全局图像表示缺乏几何不变性和空间占用较大的问题,利用深度学习、特征编码、哈希学习等方面的知识,论文系统探讨了图像检索系统中的描述符
学位