论文部分内容阅读
大数据具备数据量大、产生速度快、种类多样、价值密度低等特点,为充分挖掘大数据的价值,需要专门的存储系统来保证其可靠性和安全性。传统数据存储系统的容错方案无法兼顾容错性能、编译码效率、存储冗余度和错误修复成本等问题,不能有效满足大数据存储系统的需求;传统数据存储系统的安全方案大多采用带有密钥的加密技术(例如AES、RSA等),这些方案需要引入额外的密钥管理模块和容错模块,额外模块的引入将增加系统复杂度,降低数据的可用性。鉴于此,本文以适于大数据存储的容错方案和安全方案为研究对象,进行了以下研究工作: (1)基于LDPC码设计了一类适于大数据存储的纠错码,称为ALDPC码,给出了系统码的构造算法以及针对不同数据出错类型的恢复算法。与其他已有容错方案相比,ALDPC码具备编译码效率高(可达到RS码的几十倍)、存储冗余小(可比复制技术低一倍)和修复成本低(可比RS码低一倍)等优势。 (2)以XORSS协议和拜占庭协商协议为基础,设计了适于大数据存储的安全方案——具有长时安全性的异或秘密共享(LTS-XORSS)方案,该方案包括主动异或秘密共享协议和动态门限异或秘密共享协议,分别用于份额更新和门限提升。LTS-XORSS方案兼备数据容错、无密钥加密和长时安全等特性,可简化密钥加密方案带来的复杂系统设计。 (3)以上述两方面研究为基础,改进了Hadoop云计算平台的文件系统(HDFS),在HDFS系统中增加了安全加密模块和异步编码模块,前者用于数据上传时的同步加密和存储过程中的密文更新,后者针对不同存储时期的系统需求,可以进行冗余度低的容错编码和安全编码。改进后的HDFS系统能够适用的应用场景更加广泛,在存储安全、数据容错和数据冗余方面更具优势。 原型实现结果表明,ALDPC码和LTS-XORSS方案能够满足大数据存储系统的容错性和安全性需求,两方案的理论思想同样适用于可靠数据传输、安全多方计算和云计算安全等相关领域。