Hadoop作为典型的开源分布式数据存储处理框架,已成为商业化处理大数据的工具之一。Hadoop平台的应用与发展面临着诸多问题,其中Hadoop安全已成为关注的重点。Hadoop平台在数据分布式存储和并行处理过程中存在着一些安全漏洞,恶意用户利用安全漏洞获取数据或针对平台进行攻击,威胁着存储在平台的敏感数据和个人隐私。本文针对Hadoop平台的安全威胁与安全机制进行了分析与研究,主要的工作如下:(1)针对当前Hadoop已有的安全机制和安全组件,围绕身份验证、授权、加密和审计四个方面进行分析,同时分析了Hadoop平台可能遭受的网络攻击方式并针对性地提出攻击检测方法。(2)根据核心组件HDFS的结构特性分析在未施加安全机制情况下可能存在的安全威胁,针对HDFS透明加密技术提出了一种优化方案。该优化方案主要对密钥管理服务器KMS进行安全设计以确保HDFS和KMS的数据安全。安全设计通过添加混合式身份认证机制对身份进行验证;在各端添加接口以减轻KMS实现HTTPS安全传输后的密钥管理负载,进而加强对密钥的保护;设置ACL访问控制列表实现用户的细粒度访问授权。实验设计并实现所需安全功能,通过安全性分析证明此方案对KMS和HDFS数据的安全保护。(3)根据核心组件Map Reduce的结构特性与数据处理机制分析未施加安全机制情况下存在的安全威胁,提出了一种基于Salsa20的Map Reduce并行加密方案。此方案是Map Reduce任务通过对存储在HDFS中的数据进行处理,在数据到达Data Node进行存储之前使用流密码算法Salsa20对数据块进行加解密操作,而非对整个文件加解密,由并行处理特性达到并行加解密的效果,进而提高数据处理性能。通过编程实现并行加密系统,系统主要分为加密模块、解密模块和算法模块,Salsa20写入算法模块中等待加密模块或解密模块调用。此并行加密系统的加密算法并不局限于Salsa20,可根据需要自行添加加密算法,极具灵活性和可扩展性,根据实验及数据对比分析,基于Salsa20的并行加密系统可在保障Map Reduce数据安全的同时确保数据处理效率。