论文部分内容阅读
随着时代的进步和网络技术的广泛发展,人们对网络越来越依赖。人们所产生的数据都存放在云服务器端,并且越来越多的存储服务需要对存储节点中的数据执行分析、归类、总结等操作。这对网络存储系统的网络带宽提出了更高的需求。本文的主要目的是通过研究主动存储机制来提高分布式文件系统FastDFS的存储性能。首先,我们根据主动存储概念设计了适用于FastDFS的主动存储(AS)模型。它采用了传统的C/S模型,我们在客户端和服务器端分别实现了主动存储接口函数,用于实现主动存储机制。但是上述主动存储模型有两个缺点。第一,它只适合于数据过滤型的存储服务,对于其他类型存储服务的加速效果不明显。第二,存储服务器端的计算能力有限。因为CPU不仅需要处理客户端发送的命令,还需要执行对应的计算任务。并且,CPU被设计为主要处理逻辑运算任务,并不擅长数据密集型的计算任务。针对上述的两个缺点,我们对主动存储模型进行了优化,提出了 GPU加速的主动存储(GAS)模型。我们在模型中加入了调用GPU计算能力的并行计算模块,以及解决系统扩展性问题的kernel library模块。通过调用GPU的大规模并行计算能力来增强服务器的计算能力,使它能够适合更多类型的存储服务。在实现过程中,我们使用OpenCL编程语言来调用GPU的通用计算能力。其次,在主动存储框架设计完成后,我们设计并实现了客户端与存储服务器端的通信协议ASCP。并且分别实现了客户端与服务器端的主动存储API。最后,搭建实验平台,对上述的两种模型进行测试。第一,我们进行了主动存储AS模型性能提升测试,实验结果表明AS模型在处理数据过滤型服务时可以取得较好的性能提升。第二,我们进行了 GPU加速的主动存储GAS模型性能提升测试,实验结果表明GAS在处理过滤型存储服务时,性能大幅度提升,比AS模型提升更加明显。在处理计算密集型服务时,获得的性能提升比AS模型也要高很多。