论文部分内容阅读
21世纪的今天是科技的时代,随着互联网的迅猛发展及其技术的不断深入探索,涌现出了许多大型的互联网公司以及电子商务网站,如百度、腾讯、淘宝网、京东、Amazon等,从而导致一个现象:每时每刻都在产生大量的数据。采用传统的解决方案已经无法满足现阶段存储和处理数据的需求,于是Hadoop大数据处理技术应运而生,目前该技术在海量数据处理方面已得到了各大互联网公司的广泛应用,云存储就是其中一个典型的应用案例。Hadoop是为大文件处理而开发的平台,其对大文件处理的效率是很高的。然而,在实际的生活,对于普通用户来说,他们的数据则更多呈现出的是word文档、图片、文本、截图等小文件,这些小文件的体积小、多样性并且海量。在大数据环境中,应该采取何种方式保护用户的隐私,确保用户的数据安全将是云存储重要的研究方向。同时,我们也要考虑到一个现实:在HDFS(Hadoop Distributed File System)中存储大量的小文件势必会影响HDFS的存取和处理效率。本文开展的研究工作主要是:(1)RSA算法改进以及混合算法。本文首先对RSA算法进行改进,然后在改进RSA算法的基础上,将AES算法和RSA算法两种算法进行混合来加密用户数据。(2)Hadoop小文件处理问题。针对在HDFS中存储和访问小文件的性能上存在的问题,本文提出了一个优化的小文件处理方案。(3)文件上传问题。本文中将用户本地中的数据上传至云存储系统采用的是SHA-1算法进行消息摘要处理,从而保证上传数据的一致性和完整性。本文通过仿真实验与分析,验证了文中所提到的针对云环境中轻量级数据采用混合加密算法来加密存储的方案,该算法能够在一定程度上为云存储用户轻量级的数据提供安全性的保障。