基于对象存储的文件系统缓存机制研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:iceberg4ever
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机信息技术的迅速发展,对海量数据的存储及访问需求都呈几何级数爆炸式增长,也对数据的存储及访问方式提出了更高的要求。基于对象存储Lustre文件系统结合了传统文件系统的优点,将对象存储服务器与元数据服务器分离,实现了分布式环境下文件的并行访问,使集群系统中文件的I/O性能得到极大的提高。因此,研究Lustre文件系统的关键技术,寻求更加高效的文件访问效率,进一步提高在不同的复杂环境下的适应性显得尤为必要。   论文按照“研究-设计-实现-验证”的思路,以开源的Lustre文件系统作为主要研究对象,主要完成了以下工作:首先,结合Lustre官方的操作手册,对源代码进行大量的阅读,分析其体系结构和使用的关键技术;其次,在代码阅读的基础上,重点对Lustre现有的缓存工作机制进行分析,从中得出在大规模数据访问、特别是针对I/O密集型的共享资源访问的情况下,为保证数据一致性而进行的缓存刷新会带来很大的网络吞吐量和更新延迟的问题,进而采用了一种协作式的缓存更新策略对其进行改进,并通过实验证明了改进的Lusrre客户端缓存一致性策略进一步提高了文件系统的读性能;最后,Lustre文件系统在设计之初重点针对大文件采用数据分片实现数据并行存取等技术来提高性能,但在实际的应用中,数据访问并不可能完全是由大块的数据组成,而是混合着大量的小块文件,此时Lustre的数据访问方式反而可能会造成性能瓶颈,论文采用了在客户端增加专门针对小文件数据的缓存,对小文件进行堆积和延迟提交的方式减少网络I/O次数,进行写性能的优化,并采用矩阵运算的算法实现小文件缓存的置换,提高缓存的命中率,从而提高了文件读性能。   论文的研究工作及实验结果表明,针对复杂环境下Lustre文件系统可能遇到的性能瓶颈问题,通过对缓存机制进行研究和改进,可以有效的提高Lustre的并行I/O性能。
其他文献
随着人脸识别技术在模式识别、计算机视觉和多媒体技术等领域中的不断发展,人脸检测与跟踪作为人脸识别技术中的关键问题,越来越受到大量相关研究者的关注与重视。目前,人脸检测
云是大气中热力过程和动力过程的外部表现,同时也是水汽循环的重要环节。它在天空中表现出来的水汽状况、稳定程度以及高度和厚度,都是实时预测天气的关键性特征。因而对于人
随着传感器技术、无线通信技术以及嵌入式计算技术的飞速发展和日益成熟,无线传感器网络在军事、环境、家居、医疗等诸多领域得到了广泛的应用。无线传感器网络一般是由大量采
近年来,随着计算机网络的普及和应用,网络成为全球范围内信息转播主要渠道,为用户提供方便的网络接入服务已成为各个公共场所的常用服务之一,所以越来越多的场合需要用到网络审计
随着互联网上视频数据的海量增长,对视频数据的组织和管理成为当下的迫切需求。由于传统的基于属性和文本的视频检索存在许多不足之处,因此直接通过视频的内容特征为索引的视频
随着云计算技术的飞速发展,互联网和科学计算领域需要处理的数据呈现出级数式增长的趋势,并行编程技术在这海量数据处理中发挥着重要作用。当前运用较多的是由Google提出的MapR
无线Mesh网络作为一种宽带无线网络接入解决方案,将在未来通信系统中发挥着不可或缺的作用。与传统无线网络相比,无线Mesh网络不仅融合了无线局域网和Ad Hoc网络的特点,而且它还
蛋白质亚细胞定位与蛋白质功能,结构及相互作用都密切相关,因此建立可靠的亚细胞定位预测模型对理解蛋白质机能,生命活动以及药物研发都具有重大的意义。以蛋白质字母序列为研究
无线局域网(WLAN: Wireless Local Area Network)具有部署方便、组网灵活以及成本低廉等优点,因此在提出后得到迅猛的发展。目前无线局域网已经在学校、机场、办公大楼等场所
无线自组织网络(MANET)作为一种新型移动无线通信网络,凭借其灵活性和实用性在军事通信领域受到广泛关注。MANET网络与传统移动无线通信网络具有很大的不同,其所特有的无中心