海量数据分布式存储与安全保护研究

被引量 : 0次 | 上传用户:qq182894393
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云时代的来临,大数据(Big data)也吸引了越来越多的关注,数据正在迅速膨胀并变无穷大,但是随着时间的推移,人们将越来越多的意识到数据的重要性,如何安全、高效地存储越来越多的大数据(Big Data)正是亟待解决的问题。把分散在各地不使用的资源集中起来使用,采用分布式存储数据是切实有效的方式。但是在采用分布式数据和信息存储的方式中存储的数据的不安全因素也会随之增加,所以如何保证在分布式计算平台中的数据安全与保护成为我们当今重要的研究课题。同时,对分布式数据和信息存储的研究也可以被应用到如火如荼的云存储领域,因此具有相当广阔的理论研究意义和实践应用价值。有鉴于此,本文针对于分布式数据和信息存储的安全策略研究,从数据的存取模式考虑,设计一种针对于分布平台的、适用于大数据(Big Data)的存储模型及查询机制,同时能够提供数据共享完整性校验功能。论文首先结合开源的Hadoop分布式数据文件系统HDFS的架构和原理,以及对称加密算法和公钥密码体制,提出了一种基于HDFS的分布式数据安全存储模型。该模型采用HDFS和XML格式分别作为数据文件的存储环境和物理结构,不仅可以解决大数据(Big Data)的存储问题,而且还提供了对数据文件的数据访问控制(DAC),实验结果分析了数据加解密的时间和在分布式数据文件系统中数据上传、下载的带宽性能。第二,分布式数据文件共享存储为了保证数据的安全保护,有必要进行周期性的密钥修改,提供有效的密钥管理方法。研究了Chebyshev多项式的周期性和LKH密钥树的密钥管理特点,提出了一种基于Chebyshev多项式和LKH密钥树的周期性组播密钥修改方法。该方法比较适合于分布式大数据(Big Data)平台的密钥修改,与原始LHK方法相比,在效率和安全上有所提高。第三,研究了Bloom Filter算法和Map Reduce编程方式的相关概念和平台。采用Bloom Filter和分布式Map Reduce编程方式相结合的方法来提高密文查询的性能,同时在原始BloomFilter的基础上提出了分层Bloom Filter的思想。实验进一步表明,使用分层Bloom Filter算法可以在一定的程度上降低数据的错误率。第四,设计并实现了一个分布式数据文件存储和查询系统。该系统可以实现了对原始数据的加密上传、解密下载、共享分配、密钥管理以及密文查询的功能。同时,该系统使用B/S系统架构,用户界面良好,可操作性强。
其他文献
县级医院是我国医疗卫生服务体系的重要组成部分,是县域内的医疗卫生服务中心和农村三级医疗卫生服务网络的龙头,并与城市大医院分工协作。其功能定位是为该县域内居民提供基
<正>少数民族有自己的言语习惯,在语文教学中,培养学生的听、说、读、写的能力,培养欣赏、解读文本的能力,提高学生的语文素养就显得有些困难。下面我就对民族地区教学中遇到
会议
研究目的:1.了解太原市残疾人社会支持的现状及特点;2.探索太原市残疾人心理控制源、自我接纳水平、特质应对方式与社会支持的关系。研究对象:采用整群抽样的方法,将太原市残联指
随着移动互联网技术的不断发展,智能手机市场占有率大幅增加以及互联网地图服务的百花齐放,基于手机地图和地理位置服务的应用进入了一个新的发展阶段。同时,快递业作为新兴
随着计算机科学和信息技术的发展,自动识别技术及条码技术在信息化产业中得到了广泛的应用,其对社会和经济的促进也起到了很重要的作用。一维条码在我们日常生活中得到了广泛
对东天山觉罗塔格构造带阿奇山组火山岩进行LA-ICP-MS锆石U-Pb测年,获得谐和年龄为(331.8&#177;3.4)Ma(MSWD=1.2),形成于早石炭世。岩石地球化学特征显示,阿奇山火山岩主体为钙碱性
1980年代中期以来,国内史学界关于社会史的概念探讨较多,笔者赞同"范式说",并就此提出四点看法。
现如今,对于建筑工程而言,进行科学合理化的全过程造价控制十分的关键。建筑工程全过程造价过程是一个相对比较繁杂的工作,在整个建筑工程建设项目实施的过程中,其不仅仅会牵
随着社会的进步,体育事业也得到了很好地发展,在体育事业的纽成部分中,足球属于非常薄弱的一部分,尤其是青少年足球,运动员比较缺乏。实际上,青少年足球运动员属于我国足球事
植物的文化意义自诞生至最终生成并非是一蹴而就或是一成不变的,而是在历史的长河中,不断被赋予、改变和丰富。千百年来,很多植物在历史长河中积淀了其特有的文化意义。如古