存储系统中大容量、可层叠的通用缓存系统研究与实现

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:typ172212
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
存储系统中的缓存系统研究一直是学术界和工业界的研究热点之一。随着当前以SAN为代表的集中式网络存储模式的兴起,现有缓存系统尚不能很好地满足网络存储环境对缓存系统在灵活性、通用性、易维护性和可扩展性等方面的新要求。本文通过对现有缓存系统的深入分析,研究了缓存系统中的多层语义及层次关系,提出一个分层通用缓存系统框架,并基于该框架在蓝鲸存储系统中实现了BW-Cache系统。通过测试评估了系统性能,并得到各参数对系统性能的影响。主要研究内容如下:   ⑴提出一个分层通用缓存系统框架。该框架重点满足了网络存储环境对缓存系统在灵活性(包括“部署位置”和“模块层叠”两方面的灵活性)、通用性、易维护性及可扩展性等方面的需求,实现了缓存管理语义和资源映射语义的分离,有利于将复杂的整体问题局部化,降低系统的开发成本和难度。   ⑵设计并实现了BW-Cache缓存系统。在分层框架的指导下,实现了一个基于该框架的缓存系统BW-Cache,提高了蓝鲸存储系统的性能和可扩展性。基于实际trace的性能测试结果显示:BW-Cache能有效结合SATA磁盘的大容量优势和SSD、RAM Disk等设备的高性能优势,得到一个大容量、高性能的存储系统。在系统并发度较高时,BW-Cache系统的请求平均响应时间最多能降低到SATA磁盘的16.43%。   ⑶提出了一种基于“结合radix-tree的多级位图模型”的海量元数据组织管理方法针对BW-Cache中海量缓存元数据的内存开销问题,提出并实现了一种基于“结合radix-tree的多级位图模型”的海量元数据组织管理方法,在保证系统元数据操作性能的前提下,实现了海量元数据的有效组织和管理。   ⑷提出一种基于DFA(确定的有限自动机)的数据块载入机制。针对BW-Cache在缓存不命中时缓存数据块载入过程复杂,且随时可能出错的特殊环境,提出了一种基于DFA的数据块载入机制,保证了系统的正确性和健壮性。
其他文献
随着计算机网络、通信和控制技术的发展,以太网技术在工业控制领域中的应用倍受关注。但控制系统对高可用性和稳定性的要求限制了工业以太网的发展。同时面对国内工业生产的安
如今Web服务广泛分布于互联网中,它们通过彼此之间的交互实现对问题的协作求解。然而,在交互过程中,一些非预期、“不正常”的信息交互时有发生,严重影响了系统的质量及健壮
射频识别(Radio Frequency Identification,RFID)是一种利用射频信号自动识别目标对象并获取相关信息的技术。由于传统的定位技术不能满足室内定位环境和精度的要求,而RFID技术所
近年来,人们意识到保存Web的重要性,国内外有了保存历史网页的系统,其中北京大学网络实验室研发的Web InfoMall系统已经存储了从2002年至今的中国互联网上超过30亿的网页,在这个
嵌入式SoC有效地降低了系统的功耗、体积和成本,提高了产品的性能价格比和竞争力,是当今嵌入式系统设计技术发展的主流。PCI总线是计算机中普遍使用的通用局部总线,嵌入式SoC中
汉语-盲文转换在盲文出版、盲人教育等领域有重要应用,但当前主要基于人工完成,其过程效率低、成本高,导致盲文读物匮乏,盲人获取信息困难。已有的汉盲自动转换系统在盲文自动分
产品数据管理(Product Data Management,PDM)是一项对产品相关的数据和过程进行集成化管理的技术。随着PDM系统在众多制造企业的实施应用,PDM系统的数据安全也备受关注。用户
最近几年,由于国内教育需求的不断扩大以及教育资源的有限供应使得依托网络的远程教育市场迅速蓬勃发展了起来。而随着参与网络教育学员人数的不断增加,市场竞争的不断加剧,使得
近年来机群系统凭借其良好的扩展性、可用性以及高性价比成为当前高性能计算机的主流体系结构。而由于磁盘性能的提升速度远远落后于CPU、内存以及通信网络带宽的发展速度,从
随着计算机以及网络技术不断发展,软件的运行环境特征逐步由传统的封闭、静态、可控转向开放、动态、难控。普适计算、Internet计算等新型计算范型不断涌现。这种趋势对软件的