适应存储介质特性的高并发文件系统研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:crr0808
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
通用文件系统的出现已经超过半个世纪,它为上层应用提供通用的文件/目录抽象及相应处理接口,并在其内部维护文件逻辑空间到物理存储空间的映射。进入大数据时代,蓬勃发展的数据密集型应用对于文件系统的并发处理能力提出了更高的要求。同时作为主流存储设备,机械硬盘(Hard-Drive Disk,HDD),固态硬盘(SolidState Disk,SSD)和非易失性内存(Non-Volatile Memory,NVM)的性能和容量也在不断提升。因此学术界和工业界需要探索和研究新型文件系统,以充分发挥存储设备的特性,提升文件系统的并发处理能力,满足数据处理应用日益增长的吞吐量需求。传统文件系统普遍采用基于标准POSIX(Portable Operating System Interface)文件接口的单文件处理方式,这种方式难以提升批量文件的处理效率。此外,经典文件系统主要是面向并发能力有限的机械磁盘设计的,不太适应新型NVM和SSD设备。因此,本文从文件系统批量、并发处理入手,重点研究面向批量文件高效存取的文件系统新访问方式,面向并行度有限的NVM的可扩展文件系统和面向NVM和SSD高性能混合存储的并行文件系统,以期为未来新型文件系统架构提供理论和关键技术支持。本文的主要研究内容和创新点如下:针对文件系统批量访问的低效性,提出了基于两阶段访问机制的批量文件存取方案。现有文件系统标准POSIX接口仅提供单文件访问方式。每个文件的存取操作都通常需要遍历整个存储栈,并产生元数据I/O和数据I/O来访问不同存储位置上的元数据和文件数据。当批量存取文件时,这种单文件访问方式会产生大量小而离散的I/O。为了提升批量文件访问性能,首先通过实验和量化分析了批量文件访问效率低下的根本原因。然后,提出了一种优化的批量文件访问方法BFO(Batch-File Operations)。BFO使用两阶段访问机制来分别、分批地访问所有文件元数据和数据部分,并设计了批量文件读(BFOr)和批量文件写(BFOw)操作。基于这两个操作,进一步提出了一种高效的批量文件迁移方法BFOm。实验结果表明,BFO的批量文件读、写性能始终高于现有的单文件访问方式。具体来说,在HDD和SSD上,BFO分别将读性能最多提升了22.4倍和1.8倍;写性能最多提升了111.4倍和2.9倍。此外,BFOm同样显著降低了整体数据迁移时间。针对NVM设备内在的有限并行性,提出了基于细粒度并发控制的高可扩展NVM文件系统。Intel傲腾NVM设备表现出有限的并行性,特别是写操作,这个特性通常被现有的NVM文件系统所忽视。此外,NVM文件系统内部的并发控制也限制了其在高性能NVM上的扩展性。因此,提出了一种新型的可扩展持久内存文件系统SPMFS(Scalable Persistent Memory File System)。SPMFS首先将文件系统的全局元数据结构细分到每个处理器核上,以均衡负载和缓解资源争用;其次,SPMFS提供了一个细粒度的访问范围锁来支持对文件的并发访问;最后,SPMFS引入了专用的I/O线程池,分离用户线程I/O过程,保证NVM维持最佳的写并行性。实验结果表明,SPMFS展现了良好的扩展性,在不牺牲读性能的前提下,SPMFS可实现高达2.37倍写吞吐率的提升。针对NVM和SSD混合分级存储架构中的低I/O利用率的问题,提出了面向高性能混合存储的并行文件系统。NVM和SSD能组成高性能的、高性价比的混合存储系统。但是,传统分层存储系统架构往往会过度使用上层昂贵的NVM设备,而不能充分发挥下层SSD的I/O能力。为了充分利用这种混合系统的全部I/O能力,提出了一种新型的NVM-SSD并行文件系统NSPFS(NVM-SSD Parallelized File System)。NSPFS首先使用了一个异构全局数据布局,和混合inode及自适应索引结构来统一管理和索引混合存储空间;其次,NSPFS提供了一种动态写分配机制,可以策略性地将写请求定向到NVM和/或SSD;最后,NSPFS采用了一个多线程的I/O调度机制来发挥多设备内部的并行度,并引入了一个冷热感知的数据迁移策略,根据数据热度变化在设备间自动重新分布数据。实验结果表明,NSPFS分别提升2.83倍和8.19倍的读和写吞吐率。
其他文献
周围神经损伤是由创伤、肿瘤切除或重建手术引起的相对常见的医学问题。由于神经系统的复杂性,恢复损伤神经的功能或修复神经退行性疾病引起的损伤仍然是生物医学领域的一大挑战。目前,神经缝合被认为是治疗小于1 cm的神经间隙的临床金标准,超过1 cm的神经损伤常用的治疗方法是自体神经移植。然而,神经移植的供体取材的困难、供体部位的发病率、可能的神经瘤形成和免疫反应是限制自体神经移植作为一种治疗方法的关键问题
学位
第一部分宫颈癌单细胞免疫图谱研究目的:探究不同病理类型宫颈癌肿瘤免疫微环境差异,寻找潜在的免疫治疗靶点。方法:本研究共纳入宫颈鳞癌78例与宫颈腺癌31例,癌旁组织7例,健康人外周血9例,新鲜肿瘤和癌旁组织样本制备成单细胞悬液与外周血PBMC共同进行质谱流式T-panel和M-panel染色,通过无监督聚类等多种方式,描述肿瘤免疫微环境中不同免疫细胞的表型,比较不同病理类型宫颈癌中不同免疫细胞亚群的
学位
多视图立体视觉作为计算机视觉领域的重要研究课题,旨在从一系列已知相机参数的图像中恢复场景的稠密点云表征。由于其在三维打印、智慧城市、自动驾驶、文物保护和虚拟现实等领域的广泛应用,一直是研究领域的热点问题。然而,由于实际应用场景中数据规模巨大、弱纹理区域、遮挡部分、反射表面和重复模式等因素造成的影响,高效地重建出准确完整的稠密三维模型仍然是一个极具挑战性的问题。论文从不同层次线索出发,探索浅层图像线
学位
中国民俗学素有乡村研究传统,全球化、现代化语境下的民俗学研究面临转型的问题,近年来更有学者提出传统民俗学向都市民俗学转型的议题。在此背景下,本论文尝试在都市民俗学研究视域下,用共同体理论,参考乡村研究范式,以“返乡群体”的返乡实践为个案,考察返乡群体与本地村民的多面互动,以梳理当代乡建语境下村落共同体的生成逻辑。从学术层面来说,返乡群体不仅仅是从都市返回乡村,还有游走于城市-乡村之间的特点,对这一
学位
第一部分细胞内AGR2促进SNAIL/SLUG介导的结直肠癌细胞EMT和迁移目的:分析AGR2表达对结直肠癌细胞上皮间质转化(EMT)进程的影响,分析细胞外及细胞内AGR2对SNAIL和SLUG表达的影响。方法:利用半定量PCR(semi-quantitative RT-PCR)和Western blot检测人6种结直肠癌细胞系(Lo Vo、SW480、SW48、HCT116、DLD-1和HT-2
学位
期刊
实现癌症的早诊断早治疗可有效提高五年生存率。以高发病率、高致死率的消化道癌症为例,为了实现其准确诊断,发展了多种内窥成像方法。其中,具有高分辨率的共聚焦内窥镜可以清晰分辨细胞结构,实时提供黏膜层的体内组织学图像,在临床疾病诊断领域备受瞩目。然而,现有共聚焦内窥镜在实现细胞分辨的前提下视场范围约为240-300μm,呈现的组织信息有限,对于更大尺寸的病变检查是耗时且不可行的。光纤束和高性能的微型物镜
学位
螺旋齿面齿轮是一种变模数、变螺旋角的平面齿轮,作为一种新型的齿轮传动机构,它具有结构紧凑、重合度较高、传动速度稳定、噪声小、齿轮传动比和传动效能都较高、承载能力强等优势,因此螺旋齿面齿轮在各种平行轴和交错轴传动机构中具有广阔的应用前景。目前的螺旋齿面齿轮一般是热压铸成型,齿面硬度低,精度不高,不能满足高端机械装备精密传动的要求。针对面齿轮现有的展成加工方法不能满足较大螺旋角面齿轮的加工要求这一局限
学位
Na3Zr2Si2PO12(NZSP)固态电解质具有高的离子电导性、较宽的电化学窗口和良好的机械性能等特点,在固态钠离子电池中具有较大的应用潜力。然而,Na金属与NZSP固态电解质之间的物理接触性和润湿性差,导致电池的界面阻抗过大,影响固态电池的电化学性能。这限制了固态钠离子电池的发展和应用。本文提出了一系列的界面修饰策略来改善Na金属与NZSP固态电解质之间的界面问题,从而提高了固态钠离子电池的
学位
氮掺杂石墨烯是一种比表面积大、导电性高、结构多样、无毒环保的二维碳材料,能有效地活化过硫酸盐产生活性氧物种,被广泛用于环境中有机污染物的催化降解。氮掺杂石墨烯中的石墨氮被认为是活化过硫酸盐的主要活性位点,然而目前通过煅烧或者水热法制备所得氮掺杂石墨烯中石墨氮含量往往低于3 at%,从而限制了其催化性能的进一步提高。基于此,本论文采用超分子诱导的方法制备了高石墨氮石墨烯(GNG)材料,可有效地诱导过
学位