网格环境下分布式文件系统的设计与实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:lovemy521
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
今时今日,网格技术已经不再把自己局限在高性能计算的范畴中,而是通过向网络服务靠拢,建立起一套面向服务的体系架构。相应于此,网格中的数据模块也不再是一个提供资源的底层支持模块,而逐渐向一个功能独立的,相对自治的分布式文件系统发展。本文的目的在于构造一种网格环境下的分布式文件系统。在结构上它相当于中国教育科研网格底层支撑平台的数据模块部分,为CGSP其他功能模块提供持久的数据存储功能以及稳定而高效的数据传输服务。另一方面,这个系统也可以独立运行,网格终端用户可以通过它建立自己的数据空间。传统的分布式文件系统往往是紧耦合的、基于文件级别应用副本策略的。这些系统虽然性能出众、但往往是应对专门系统设计,通用性不强。而过去基于Web的分布式文件系统往往性能低下、存储能力弱、传输效率低。为了满足网格环境下海量数据密集型应用的需求以及面向服务的框架,我们设计并实现了一个基于分片的、松耦合的分布式文件系统,它包括底层存储资源集合、存储资源管理模块、元数据管理模块、副本管理模块、数据传输管理模块、信息监控模块、策略分析模块以及虚拟文件视图终端等部件。本文设计并实现的系统具有以下的特点和优势:稳定性:通过副本管理模块调整系统中文件合理的冗余度,对”零副本危机”进行预测并予以避免。策略分析模块会在存储资源选择时挑选健壮性最佳的数据节点进行存储;高效性:在传输中使用GridFTP带状并行传输,同时提高服务器端和客户端的带宽利用率。策略分析模块会在构造传输计划时挑选最近、当前可用带宽最大的节点进行传输;通用性:通过使用网络服务资源框架实现远程调用,存储资源只需向存储资源管理模块汇报就可以加入资源集,用户也可以在任何终端登入自己的用户空间;
其他文献
对保证合同与主合同关系的把握,实质在于对从属性理论的把握。传统理论把从属性视为保证合同的本质属性。但随着独立保证的兴起,该理论遭遇到了巨大的挑战,并由此而引起从属
<正>玉溪市地处滇中,是一个集边疆、民族、山区三位一体的农业市,全市辖8县1区,有75个乡(镇),667个村委会,6 468个村民小组,全市82.12%的人口在农村,农业在整个国民经济中占
四足机器人有很强的环境适应性和运动灵活性,可广泛运用于抢险救灾、排雷、探险、娱乐及军事等领域,因此,对四足机器人的研究已成为机器人研究领域的重要课题。但是四足机器人的
文章以探究式教学模式在大学英语"Knowing Yourself"中的运用为例,通过对问题的提出,进而对整个探究式教学实践过程进行阐述,包括如何激发学生的探究欲望、设计有探究空间的
以丝氨醇为原料,首先对丝氨醇的氨基进行保护然后与氯甲酸乙酯反应合成2-苄氧酰胺基三亚甲基碳酸酯(CAB)环状单体,研究了二乙基锌(ZnEt2)和辛酸亚锡(Sn(Oct)2)2种催化剂对CAB
内衣自产生起就具备了御寒遮羞的实用与伦理功能,而且具备了文化符号的意义,反映着人类的时代、民族、风俗、观念、审美、乃至心理等文化的意义和价值。内衣在中西方不同的环
现在有很多关于计算机支持下协作学习(CSCL)异步环境中分布式学习团体(DLGs)的实证研究。研究表明当前的CSCL环境并不能完全满足人们对其支持交互的团体学习、知识共享、知识
进城农民工子女的教育问题是社会转型中农村人口流动衍生出的一个社会问题。通过以昆明市呈贡区、盘龙区等区域的农民工子女作为研究对象,对进城农民工子女当前教育状况进行
虾青素以其卓越的生理功能,在国际上已被广泛应用于水产养殖、食品及医药业中。雨生红球藻被公认为自然界中生产天然虾青素的最佳生物来源,因此利用雨生红球藻获取虾青素,无
结合西北工业大学航空微电子中心所承担的科研项目,作者参加了“龙腾R2”微处理器的验证工作,负责总线接口部件的验证和FPGA的原型验证。在完成“龙腾R2”验证的基础上,设计实现