基于HDFS的轻量级数据安全存储的研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:myjob3
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
21世纪的今天是科技的时代,随着互联网的迅猛发展及其技术的不断深入探索,涌现出了许多大型的互联网公司以及电子商务网站,如百度、腾讯、淘宝网、京东、Amazon等,从而导致一个现象:每时每刻都在产生大量的数据。采用传统的解决方案已经无法满足现阶段存储和处理数据的需求,于是Hadoop大数据处理技术应运而生,目前该技术在海量数据处理方面已得到了各大互联网公司的广泛应用,云存储就是其中一个典型的应用案例。Hadoop是为大文件处理而开发的平台,其对大文件处理的效率是很高的。然而,在实际的生活,对于普通用户来说,他们的数据则更多呈现出的是word文档、图片、文本、截图等小文件,这些小文件的体积小、多样性并且海量。在大数据环境中,应该采取何种方式保护用户的隐私,确保用户的数据安全将是云存储重要的研究方向。同时,我们也要考虑到一个现实:在HDFS(Hadoop Distributed File System)中存储大量的小文件势必会影响HDFS的存取和处理效率。本文开展的研究工作主要是:(1)RSA算法改进以及混合算法。本文首先对RSA算法进行改进,然后在改进RSA算法的基础上,将AES算法和RSA算法两种算法进行混合来加密用户数据。(2)Hadoop小文件处理问题。针对在HDFS中存储和访问小文件的性能上存在的问题,本文提出了一个优化的小文件处理方案。(3)文件上传问题。本文中将用户本地中的数据上传至云存储系统采用的是SHA-1算法进行消息摘要处理,从而保证上传数据的一致性和完整性。本文通过仿真实验与分析,验证了文中所提到的针对云环境中轻量级数据采用混合加密算法来加密存储的方案,该算法能够在一定程度上为云存储用户轻量级的数据提供安全性的保障。
其他文献
曝光时间内的运动模糊能够造成令人厌烦的模糊图像从而毁掉很多的照片。运动模糊可以通过减少曝光时间来减弱,但是这样又会引来其他的问题比如会带来传感器的噪声。用三脚架
随着无线网络的迅速发展,无线网络的使用范围也越来越广泛。无线移动用户在满足于简单的数据通信的基础上,具有更多的实时业务需求。视频会议、游戏、VoIP、数字视频广播、Vo
随着工程招标相关法律、法规的日益完善,有形建筑市场的运作必然将朝着更为规范化的方向发展。建立和完善交易服务平台系统是提高有形建筑市场办公效率及规范管理的重要途径
人类在日常的工作和生活中需要借助大量的知识来解决面临的各种各样的问题,但毕竟个人所掌握的知识有限,需要实时查阅和获取知识。目前,人们常常借助搜索引擎通过互联网实现这一
信息技术与课程整合已经成为新课程改革的一个重要课题,探索并实现信息技术与课程整合也是一项长期而艰巨的任务。当前,我国积极倡导、推进教育的现代化和信息化,探索并实现信息
金融业近些年的蓬勃发展,对信息技术的依赖越来越强烈,更多的系统开始它们的信息化之路。在金融领域尤其是债券基金,基金经理通过观察信息发布系统进行交易,成交金额达到千万
压缩感知是一种全新的采样模式,它已经在很多领域得到研究应用。压缩感知是针对稀疏信号或可压缩信号提出来的。压缩感知理论表明:可以在采样数量远少于传统采样数量情况下精
随着移动通信技术的发展以及智能终端的普及,人们正逐步走向更加追求效率和速度的移动办公时代,尤其是云服务模式日趋成熟后,许多企业选择将电子文档存放在云端,只要有网络,
医保基金风险防控平台本质是通过数据仓库面向主题的、集成的、与时间相关的、非可变等方面的特性来存储和管理从医保各业务子系统中采集来的高质量的、表达致的、规范化的数
随着互联网的发展,人与人之间的联系越来越密切,所形成的网络也越错综繁杂。直接对其进行分析往往具有一定难度,而社团作为它的一个重要属性,能帮助我们认识网络的拓扑和层次