适于大数据存储的容错方案和安全方案设计及其在云计算系统中的应用

来源 :云南大学 | 被引量 : 0次 | 上传用户:highbird51426
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据具备数据量大、产生速度快、种类多样、价值密度低等特点,为充分挖掘大数据的价值,需要专门的存储系统来保证其可靠性和安全性。传统数据存储系统的容错方案无法兼顾容错性能、编译码效率、存储冗余度和错误修复成本等问题,不能有效满足大数据存储系统的需求;传统数据存储系统的安全方案大多采用带有密钥的加密技术(例如AES、RSA等),这些方案需要引入额外的密钥管理模块和容错模块,额外模块的引入将增加系统复杂度,降低数据的可用性。鉴于此,本文以适于大数据存储的容错方案和安全方案为研究对象,进行了以下研究工作:  (1)基于LDPC码设计了一类适于大数据存储的纠错码,称为ALDPC码,给出了系统码的构造算法以及针对不同数据出错类型的恢复算法。与其他已有容错方案相比,ALDPC码具备编译码效率高(可达到RS码的几十倍)、存储冗余小(可比复制技术低一倍)和修复成本低(可比RS码低一倍)等优势。  (2)以XORSS协议和拜占庭协商协议为基础,设计了适于大数据存储的安全方案——具有长时安全性的异或秘密共享(LTS-XORSS)方案,该方案包括主动异或秘密共享协议和动态门限异或秘密共享协议,分别用于份额更新和门限提升。LTS-XORSS方案兼备数据容错、无密钥加密和长时安全等特性,可简化密钥加密方案带来的复杂系统设计。  (3)以上述两方面研究为基础,改进了Hadoop云计算平台的文件系统(HDFS),在HDFS系统中增加了安全加密模块和异步编码模块,前者用于数据上传时的同步加密和存储过程中的密文更新,后者针对不同存储时期的系统需求,可以进行冗余度低的容错编码和安全编码。改进后的HDFS系统能够适用的应用场景更加广泛,在存储安全、数据容错和数据冗余方面更具优势。  原型实现结果表明,ALDPC码和LTS-XORSS方案能够满足大数据存储系统的容错性和安全性需求,两方案的理论思想同样适用于可靠数据传输、安全多方计算和云计算安全等相关领域。
其他文献
学位
学位
学位
回柱绞车主要用于回收矿井巷道和采掘工作面支护设备,也可用于牵引重型矿车,牵拉大件和起吊重件等。目前回柱绞车所用的制动闸都是近距离手动控制,制动闸安装在绞车的中间部
学位
学位
学位
对流扩散方程是一类基本的运动方程,它可以用来描述水和大气中污染物的分布、流体的流动和流体中热的传导等众多物理现象。研究对流扩散方程的数值解,寻找一种快速、稳定而又实
学位
学位