pNFS元数据服务器集群技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:kongduiyue2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络技术和信息数字化的快速发展,面向海量数据的大型应用纷纷涌现,数据中心里存储服务器集群规模随之不断增大,越来越多的存储节点,给存储系统中的元数据服务器带来了更重的负担,元数据服务器的性能逐渐成为系统中的瓶颈。同时,在单一元数据服务器的存储系统中,系统的扩展性和可靠性受到了严重地制约。因此人们提出了元数据服务器集群技术来提高元数据服务器的性能、可靠性以及扩展性。在研究了现有常见文件系统中元数据服务器集群的设计与实现后,总结出元数据服务器集群技术中,最常见的几种组织元数据的策略,并分析了它们各自的优劣。在现有技术的基础上,提出了基于副本的静态子树分割策略。使用子树划分将元数据划分到集群中不同的服务器上,每台服务器负责处理部分元数据的请求,同时,在集群中为每份元数据维护一定数量的副本,利用元数据请求的重定向,将元数据的访问均衡到不同的副本上,大大降低了系统中出现热点的几率。最后,实现了基于副本的静态子树分割元数据集群应用于分布式并行文件系统(pNFS),功能上实现了元数据服务器的在线扩展、失效处理、失效恢复、负载均衡等功能。测试表明基于副本的静态子树分割元数据集群大幅提高了pNFS的可靠性、扩展性和性能,利用元数据集群中的元数据副本,实现了负载均衡,消除了系统中的热点,弥补了传统静态子树分割的不足。
其他文献
随着我国高校的蓬勃发展,高校教学和课程改革也全面开展,课程考核与分析决策是实现改革重要形式,如何降低课程考核的工作量,如何做到课程考核的全面性、科学性,提高课程考核
随着多媒体技术及因特网的快速发展,因特网上图像数据来源不断扩大,图像的数量增长迅速。相对于文字信息,图像表达更加生动、易于理解,因此各行各业对图像的使用越来越普及,比如医
在数据库应用系统中,加快数据查询的执行速度非常重要。数据仓库技术通过对源数据库的数据提前进行归纳、分析、整理,从而提高了查询速度。动态数据仓库针对传统数据仓库更新周
基于机器视觉的标记检测方法在工业控制、农业生产、国防建设等领域内都有广泛的应用,但在医疗领域的应用相对比较少。针对目前医用体外冲击波碎石机在对肾脏结石患者进行结石
随着互联网的快速发展,视频信息急剧膨胀,谷歌、百度等通用爬虫越来越不能满足人们的专业化需求,因此对足球视频搜索而言,如何在互联网上抓取足球视频成为一个亟待解决的问题,同时
在当今这个高速发展的信息社会,数据可以说是企业生存的根本,数据破坏对企业来说无疑是致命的打击,对个人也是如此。在这样的大势下,数据的备份容灾成为了存储行业的研究热点。同
自从关系数据库的事务概念提出以来,如何解决事务问的并发以及串行化调度就成为了一个热点的问题。从上世纪八十年代开始物理行锁的封锁机制开始成为了关系数据界的主流解决
随着高校网络的迅速发展,大多数高校都已建立了自己的校园网。为了充分利用教育网上的资源,大多数高校都把教育网作为校园网的主要出口,但由于教育网与公网的互联带宽比较窄,
隐式多项式曲线,尤其是高次隐式多项式曲线对物体几何模型的描述非常有效,它用很少数目的参数就能描述形状不规则的物体,其稳定性和不变量的鲁棒性可用来快速有效地识别物体。在
随着网络信息技术在管理上越来越深入而广泛的应用,基于WEB的数据库信息管理系统的开发在技术上已逐步成熟,并成为主流和发展趋势。同样,信息管理技术正以前所未有的速度深入