【摘 要】
：
当今,数据量爆发式增长,不断涌现的内存计算型应用使用内存作为主要数据存储载体,以提升整体性能。然而,大容量内存存储通常面临两个方面的挑战:首先,内存部分失效、机器断电等故障会导致其上的数据不可用,需要通过系统级冗余机制保障数据的可用性,但是过高冗余导致性能和存储效率下降;其次,数据访问行为是动态变化的,静态数据布局难以适应。因此,内存存储系统需要在运行时根据工作负载变化动态地调整内存的数据冗余布局
【基金项目】
：
国家自然科学基金项目《面向新型混合存储的高效异构融合系统架构及机制研究》（项目编号为 62172175）； 国家自然科学基金项目《大数据存储系统与技术》（项目编号为61821003）；
论文部分内容阅读
当今,数据量爆发式增长,不断涌现的内存计算型应用使用内存作为主要数据存储载体,以提升整体性能。然而,大容量内存存储通常面临两个方面的挑战:首先,内存部分失效、机器断电等故障会导致其上的数据不可用,需要通过系统级冗余机制保障数据的可用性,但是过高冗余导致性能和存储效率下降;其次,数据访问行为是动态变化的,静态数据布局难以适应。因此,内存存储系统需要在运行时根据工作负载变化动态地调整内存的数据冗余布局,综合提升内存系统的负载均衡度、存储效率、性能和可用性。为了提升内存整体使用效率,提出了一种基于存储对象热度及大小的高效内存冗余机制MEM-PS（Efficient In-Memory Redundancy Mechanism based on Object Popularity and Size）。首先,提出RS（Reed-Solomon）编码扩展模式（Extended ReedSolomon,ERS）,引入“分块大小”和“副本结合”两个参数,得到一组包含不同空间效率和访问并行度的编码策略。其次,对于阿里盘古存储系统生产环境中数据对象的热度及大小进行分析和分级,为其选择相适应的编码方案,即:热而小的对象采用访问高效的冗余方案,冷而大的对象采用空间高效的冗余方案。之后,内存中的数据采用混合式冗余的方式进行组织,根据存储对象的热度及大小变化,执行冗余方案的自适应转换。最后,在实际内存集群中实现了MEM-PS方案和其他三种代表性的内存存储方案,即副本存储方案（Replication,Rep）、纠删码存储方案（Erasure Coding,EC）和副本/纠删码混合存储方案（EC-Rep）。基于阿里云盘古存储系统的实际工作负载,对上述四种方案进行评估。结果表明,相比于Rep和EC-Rep方案,MEM-PS方案在访问性能方面提升了10.3%～17.1%,在空间效率方面提升了61.2%～123.2%。相比于EC方案,MEM-PS方案在不降低访问性能的同时还将负载平衡度提高了53.74%,99th尾部延迟降低了15.2%。
其他文献
量化投资源于国外,伴随着金融全球化以及我国计算机与互联网技术的发展,国内的量化投资起步虽晚却发展迅速。量化投资的核心就是量化投资策略的搭建,如今的金融市场形式复杂多变,对已有量化策略的有效性提出了新的挑战,投资者如何利用量化投资追逐利润和有效控制风险也成了国内外研究的热点。MACD策略是国内投资者普遍使用的策略之一,其关键就是利用近期资产价格计算出快线、慢线指标,根据指标形态对未来做出预判。MAC
新型非易失内存（Non-volatile Memory,NVM）具有字节寻址以及断电不丢失数据的特性,处理器可以通过加载和访问指令直接访问NVM,程序员借助这些特性可以在NVM中直接构建数据结构而不需要使用序列化操作。然而传统的文件系统并不能支持以字节粒度对NVM进行写入操作,因此需要构建一种细粒度的NVM空间管理方式。动态随机存取存储器（Dynamic Random Access Memory,
随着人工智能的高速发展,深度神经网络模型的参数规模日益增大。研究人员使用剪枝等技术将权值矩阵裁剪,转化为稀疏深度神经网络,从而减少模型的存储成本和计算开销。另一方面,随着图形处理单元（Graphic Processing Unit,GPU）算力的不断提升以及GPU加速技术的快速创新,快速深度神经网络推理加速已经成熟。然而,由于稀疏深度神经网络的核心算子稀疏矩阵乘法（Sparse Matrix-De
未爆弹一般都埋藏在地表或者离地面较浅的位置,对国民的生命和财产安全具有潜在威胁,需要及时清除。如何准确高效地探测未爆弹是未爆弹处理中的关键问题。瞬变电磁法（TEM）由于虚警率低、目标识别能力强而备受关注。此外,如何根据所探测的信息准确估计出目标体的位置是未爆弹探测的另一个关键问题。基于此,本文围绕这两个问题展开了研究,完成的主要工作和取得的成果如下:（1）基于瞬变电磁法的基本原理,提出了未爆弹探测
闪存单元不断增加其存储密度,从单比特（Single-Leve Cell,SLC）到三比特（Triple-Level Cell,TLC）、四比特（Quad-Level Cell,QLC）,从而增加闪存固态盘的整体存储容量,但这也显著增加读写延迟并降低可擦除次数。为了提升性能,TLC/QLC固态盘内部通常采用混合架构,一部分闪存单元设置成SLC模式,从而构成SLC层,作为后端QLC层的缓存。当前混合固
负载的倾斜分布现象广泛存在于各种场景中,降低热点数据的读写延迟对提升系统整体服务质量有重要意义。B+树是一种被广泛应用的索引结构,新兴的非易失内存（Non-Volatile Memory,NVM）为B+树应对数据热点问题提供了新的思路,但已有的NVM上B+树相关研究工作都没有对冷热数据进行区分,这降低了它们对倾斜负载的服务能力。本文便主要聚焦于在NVM场景下设计热点感知的B+树结构。在对B+树的热
麦角固醇是真菌细胞膜的重要组成部分,是维生素D等甾体类药物的重要前体,市场需求大且供不应求。目前,麦角固醇主要从酵母、青霉菌中提取,存在含量低、生产成本高、生产能力不足等问题。许多研究者通过超表达麦角固醇合成路径中1～2个基因或者理化诱变等方法改造酿酒酵母,缺乏对整个合成通路的系统研究。酿酒酵母合成麦角固醇的代谢工程改造,有望大幅提高麦角固醇产量。本文围绕酿酒酵母中麦角固醇合成与转运路径,系统分析
从2000年初始,中国开始加大对核电建设的论证,国家核安全局组织各个部门重新评估如何保障核电站的安全,为了更好的实现纵深防御与多样性（Defense-in-Depthand Diversity,D3）,做好核电站保护系统的备份,多样性驱动系统即第二套保护系统的设计成为各位专家、学者的研究重点。核电站的多样性驱动系统作为核电站保护系统的备份,在多样性上的技术研究和工程应用越来越重要,作为核电站仪控系
随着中国经济的发展,中国的国际影响力不断提升,国际学生学习汉语的热情席卷全球。随着5G网络的普及,汉语教育的技术和形式也在逐渐多样化,特别是在新冠疫情期间,远程学习技术得到迅速推广和普及,逐渐成为一种主流的教学模式。毫无疑问,在线教育课程也将是未来国际中文教育发展的一大趋势。随着直播和视频娱乐的兴起,越来越多的汉语学习者开始利用新媒体视频直播平台学习汉语。作为中国年轻一代集中的文化社区和视频媒体平
随着信息时代的发展,数据规模迅速扩张,更多的企业选择将业务部署到分布式集群上。然而分布式存储系统的资源是有限的,因此根据系统的存储能力为不同的用户制定合理的服务规则是非常重要的。分布式存储系统面向用户的服务质量（Quality of Service,Qo S）技术大多是在发送端来直接实施I/O限流的,然而这种方式并不能感知系统存储节点的资源使用情况,因此难以保证在各种应用场景下所有用户的性能需求。