基于WSRF的数据网格副本管理技术研究及其实现

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:superficalness
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据网格是近年来兴起的一种技术,它将Internet上存在着的大量分散的、独立的、异构的储存系统组织成一个可靠、安全的逻辑意义上的整体,从而为用户提供高效的、高可靠的、可扩展的、大规模的存储资源,是一个以数据为主要资源的理想的虚拟存储系统,从而为各种网格应用提供良好的支持。一方面,利用网格环境的高效处理能力可以实现大规模数据的有效整合,并有效地利用已有的众多的数据资源;同时,也可以利用数据网格系统高效的数据管理能力,为网格内实现数据库资源的有效管理、分布数据的集成优化以及大数据的分析处理等提供强有力的支持。   数据副本文件是数据网格环境下数据存储的主要形式。数据网格主要的挑战是支持快速数据读取;而在网格中支持快速数据读取的主要阻碍是广域网的高延迟性。为了实现快速数据读取,大量数据需要拷贝多个副本在网格内广泛分布的节点上。一个数据网格应该提供有良好的副本管理系统,能够实现资源的动态获取,满足用户的需求(最小化用户获得数据以及提交作业执行的代价)和最大化网格数据资源的利用率。然而,存储系统的数量和大小是有限的,副本管理系统需要有一套非常完善的副本创建、定位选择、维护等策略来满足高性能的需求。   本文设计出一种树型副本文件存储目录,采用基于副本定位索引RLI和本地副本目录LRC的层次式结构,将逻辑副本文件名LFN转换为实际存储在网格中的物理副本文件名PFN,实现了副本的快速定位。通过对目前数据网格研究领域相关副本算法的分析,本文提出了基于微粒群算法的副本创建策略和基于遗传算法的副本选择策略,研究结果表明这两种策略具有良好的性能。最后在比较了几种网格体系结构的基础上,开发出基于Web服务资源框架的副本管理系统,将副本处理的相关操作封装为网格服务,供上层应用调用,此外该副本管理系统还具有用户分级访问机制,具有良好的应用价值。
其他文献
僵尸网络(Botnet)是通过入侵网络空间内一个或多个非配合计算终端构建的、可被攻击者远程控制的通用计算平台。其中,非配合指的是未经计算终端刚户明确授权;攻击者指的是掌握僵
对等网(Peer-to-Peer, P2P)以其非中心化、可扩展性、健壮性、负载均衡、容错性好等优点,得到了广泛的应用。eMule协议作为一种典型的P2P应用协议因其在文件共享方面具有其独
随着通信技术的发展,无线能量传输已经成为物联网发展的重要组成部分。尤其是近年来,无线传感网络在环境监测、健康医疗等领域的突出表现使其成为人们生活中不可或缺的一部分
随着业务复杂程度的日益提高,业务建模已经成为软件开发中一个重要的环节,而面向领域的业务建模也成为研究的热点。零码平台是面向特定领域的软件生产平台,提供了过程类业务
Ad Hoc网络是一种无固定基础设施的分布式无线多跳网络,具有组网灵活迅速、节点移动自由、抗毁性强等优点,因而广泛应用于军事和民用领域。但是,由于其网络拓扑动态变换,使得常规
随着社会经济的发展,科技的进步,汽车的使用越来越多,随之而来的汽车盗窃问题日益突出。网络式防盗技术在国外市场中已经广泛使用,而在国内汽车防盗市场中,大部分采用的是电
虚拟组织的应用发展对网络和分布式系统中服务和资源的开放性和多样性提出了更高的要求,现今agent的技术正好能满足虚拟组织发展的需求。agent的自治能力和社会能力能提供灵
社会的大力发展,也促进了科学技术的快速发展,尤其在最近的时间,云计算也同样得到迅速的发展,因此,移动云计算在这样的大数据环境下应运而生。基于计算机技术的前提下,学习模
机器学习中,收集有标签数据来建立模型以及调整其中相关参数的过程是非常花费时间和代价的。当有标签数据的数量较少时,我们希望其中的每一个都尽量具有代表性,这样建立的模型才
随着网络的不断发展,搜索引擎已成为人们日常生活中获取信息的重要手段。信息检索是搜索引擎的核心技术。但由于自然语言的多样性、歧义性,传统的基于字符串匹配的关键字检索