分布式存储系统中的资源定位与数据存储技术研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:YFY2006
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在计算机网络中存在着大量空闲的存储资源,例如台式机、服务器、工作站等,虽然这些节点的计算与存储能力各异,但都可以向其他节点提供一定的共享存储空间,并且这些节点也可能成为共享资源的访问者。分布式存储系统为了有效组织这些节点,并合理利用节点的资源,需要考虑节点异构性与连接异构性。   节点异构性是指节点的存储能力各异,存储空间多的节点应当适当分担更多的负载,并且数据存储策略应当考虑到节点的负载状况,并动态判断和选择合适的节点存储。连接异构性是指节点之间的连接耗费不同,同一实验室中的两个节点传输数据比起不同城市之间的两个节点传输数据要更加快速,因此在存储系统中对数据访问时,应尽量避免通过高耗费的连接进行,优先在本地相近节点中访问数据。   本文针对上述问题,基于结构化P2P系统中DHT技术所提供的资源定位功能,设计一个分布式存储系统,向用户提供面向文件的存储与读取服务。该存储系统所基于的DHT协议Cycord,利用CCC图的拓扑特征对节点进行组织,首先将节点组成本地圈再将本地圈连接在一起,以方便区分节点之间低耗费的本地连接与高耗费的远程连接。利用此特性,在DHT路由协议、关键字分配的动态负载均衡、文件裂片存储位置选择的动态负载均衡、文件裂片索引冗余存储等方面都尽量减少通过远程连接的数据传输,提高网络资源的利用效率。   本文的主要贡献有:   (1)基于CCC图和DHT协议,设计了一个新的资源定位协议Cycord。理论与实验数据的分析比较说明,在条件2L<λ*(log2m)满足时,Cycord比Chord具有更低的查询耗费。进一步对Cycord协议查询产生的本地跳进行优化,以适当扩大路由表规模的代价,进一步提升Cycord查询效率。针对Cycord中关键字在节点间均衡分配的问题,提出了一种Cycord本地动态均衡策略,达到关键字在节点间迁移的目的。   (2)在Cycord协议所提供的资源定位功能的基础上,设计了一个面向文件存储与读取的分布式存储系统。该系统通过一定的负载均衡策略、数据冗余策略及数据缓存策略,提升存储资源利用效率,增加数据持久性,提高数据访问效率。在负载均衡方面,该系统以简单高效的本地负载通告协议为基础,采用了特有的本地负载均衡策略与有效的远程均衡策略,仿真实验结果说明,所使用的策略可极大降低节点负载率方差。在数据冗余方面,利用了数据读取节点的计算能力,对丢失的文件裂片进行恢复。在数据缓存方面,通过数据的本地化访问,减轻了远程连接的负担,提升了访问效率。
其他文献
随着计算机网络技术和通信技术的相互融合,以这两项技术为基础的计算机支持协同工作(Computer Supported Cooperative Work,CSCW)技术,得到了快速的发展。传统的协同架构,广
无线传感器网络是目前信息领域里一个重要的研究热点,已在多个方面得到广泛应用,如:国防军事,航空航天、环境监测、交通医疗、反恐抗灾等方面,在未来也具有很好的发展和应用前
研究生信息管理系统是实现研究生教育管理的重要组成部分,是研究生教育信息化程度的重要标志,对提高研究生教育管理水平、节约人力资源、实现信息资源共享,实施科学管理起到重要
随着实时CORBA(Common Object Request Broker Archi tecture,通用对象请求代理体系结构)技术的日趋完善及应用的需求,越来越多的分布式实时系统建立于其之上。在分布式实时系
随着计算机技术的发展,计算机安全事件频繁发生。计算机取证(computer forensics)正是在这种形势下产生和发展的,它可以对犯罪分子产生威慑作用。当前,分布式拒绝服务攻击(DD
应用数据挖掘技术,加强税收数据进行分析,为税务系统强化科学管理提供有价值的决策信息,已经成为当前税务系统的一个研究热点。本文针对当前税收执法管理工作中存在的不足,结合税
随着科学技术的发展,全球信息化时代的全面到来,数字化科技将为未来社会建立起“数字世界新秩序”,数字化信息将成为人类社会的重要支柱之一。在数字全球化的大环境下,传统的档案
随着计算机网络技术和计算机通信技术的迅猛发展,使人们对网络上提供的高质量视频/音频等多媒体服务的需求越来越大。以视频点播(VOD)为核心的各种网络应用和信息服务将成为人们
随着多媒体技术和网络技术的发展,多媒体信息的机密性和真实性越来越受到人们的重视。但是在对数据进行保护的时候往往却忽略了多媒体数据本身的特点,如文件格式、码流结构、
模式识别是一种人工智能信息处理技术,在近年来广泛应用于文字、指纹和遥感图像识别等领域。模式识别大致分为三个过程:预处理、特征提取、识别。预处理完成的是前期工作,对