论文部分内容阅读
随着大数据时代的到来，PB级、EB级甚至ZB级数据集出现，存储系统的建设需要根据业务的发展，逐渐进行扩展。不同性能存储设备的加入、旧设备的退出以及多设备同时失效等问题的出现对传统存储系统数据分布算法提出严峻挑战。设计了一种新的hash映射算法，该算法引入节点权重和多副本，并考虑节点失效和节点过载情况，能够适应存储系统扩容、节点失效、节点过载的动态环境。该算法能从概率上保证系统伸缩时，数据对象及其副本分布在不同的节点上，以及在节点间保持概率上分布的均衡性和迁移数据量最优；针对系统运行过程中节点失效和节点过载