AmazingStore:高动态性环境下高效的P2P存储系统

来源 :北京大学 | 被引量 : 0次 | 上传用户:mumu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
P2P存储系统具有良好的扩展性,并且能够利用边缘网络计算机上的数量巨大的存储容量和网络带宽,具有巨大的服务潜力。自提出以来一直受到学术界的关注,但在其后的时期内却没有出现像BitTorrent这样的广泛流行的P2P应用。其中两个技术层面上的原因是:1,没有有效的可用性、可靠性模型作为P2P存储系统的理论基础;2,普通PC机用户构成的计算机环境复杂,搭建P2P存储系统并非轻而易举的工作。   本文将在更准确的可用性、可靠性模型指导下,详细介绍在普通PC用户上良好运行的P2P存储系统--AmazingStore--构建的细节、运行情况。并且分析系统长达1年的日志,发现一些有益的结论。   本文的主要贡献如下:   设计并实现了一个在高动态环境下真实可行的P2P存储系统AmazingStore:(1)采用自组织的簇结构来划分和管理节点。簇管理节点由服务器节点担任和管理节点的主从备份机制,提高了管理节点的在线率和系统的响应能力。   (2)使用自修复的索引维护策略。在管理节点切换时,索引双向比对方法使得索引能够被高质量地重建。bloomfilter技术则很大程度地减小了索引比对的传输开销。   (3)使用两阶段提交的机制解决了P2P存储系统中写操作的原子性问题,使得上传文件时,要么文件被成功存储,要么不对系统的数据状态和索引状态造成修改。   分析AmazingStore系统收集的长达1年的日志数据,发现了如下现象:   (1)AmazingStore系统存在一定程度的负载不均衡问题。这关系到P2P存储系统中负载均衡的标准。提醒我们在保证数据可用性和可靠性同时,对数据分发和修复调度要进行负载均衡方面的考虑。   (2)进行“破坏”行为的用户只占所有用户的小部分,在可接受的范围内。   (3)大部分用户存在着很大的剩余磁盘空间,可以用来搭建具有海量存储空间的P2P存储系统。
其他文献
植物是自然界最常见的景观之一,对植物形态及生长发育进行建模,一方面对于探索植物生长过程的规律,深化对农学、植物学的研究具有重要的意义;另一方面,植物建模技术已在艺术设计、
为软件项目构造合适的过程模型对提升软件质量和生产率具有重要意义,但这也是一个知识密集,耗时费力的工作。为此,北京大学软件工程研究所提出了一种基于模式的软件过程构造方法
随着硬件、网络与通信技术的飞速发展和实际应用需求的持续推动,数据流作为一种新的数据形式在众多领域有着广泛的应用。目前对于数据流管理的研究成果主要集中于近期数据流的
随着互联网信息大爆炸时代的来临,人们可以从互联网上获取的信息也越来越多。搜索引擎的诞生解决了在海量互联网网页中检索特定信息的难题。然而随着时间的推移,旧的网页在消
伴随着信息化时代的到来,各种信息以爆炸式增长,导致图的规模日益增大,传统的图挖掘算法已经不能很好的满足需求。一方面,并行计算可以有效解决这个问题,而包括Hadoop、Hama
XML(eXtensible Markup Language,可扩展置标语言)是由W3C发布的一种标准,它具有文档的内容和结构完全分离,互操作性强,规范统一,扩展性强等优点。XML的常见应用领域包括数据
同时定位与地图创建是指机器人在移动过程中根据传感器数据创建环境地图的同时进行自身位姿的估计。目前,很多同时定位与地图创建的研究都是在假设环境只包含有静态目标的前
随着本体研究的开展与深入,本体被广泛应用到各个领域之中,越来越多的本体被构建用以表示知识与共享知识。由于不同领域问题的不同特征以及网络的分布性,不同领域构建的本体
随着计算机技术的快速发展和因特网的日益普及,各种媒体内容被转化为数字形式,提高了信息表达的效率和准确性,但是数字产品极易被非法复制,盗版已经对数字化产业构成最大的威胁。
面对Web所提供的仍在不断扩张的信息海洋,抽样是研究人员了解Web整体特征情况最有力的工具。抽样是一种推论统计方法,它是指从目标总体(Population)中抽取一部分个体作为样本(S