论文部分内容阅读
在大数据时代,数据成为一种非常重要的资产。然而,在实际应用场景中数据泄露事件频发,这严重阻碍了大数据技术的应用和发展。作为处理大数据的大数据平台,其由许多独立的组件组成,每个组件都有自己的运行机制和安全保护模型,且由于在设计之初未充分考虑到安全问题,导致当前平台存在着许多安全问题。目前已有的大数据平台安全防护技术的主要问题在于,复杂的保护方案在实际应用中运维和扩展困难,难以全面覆盖不同平台的所有组件和层面,而简单的保护方案则难以满足特定场景的安全需求。如何对大数据平台进行有效的安全保护,使其既能满足绝大部分应用场景的安全需求,又容易管理和扩张,是亟待解决的问题。本论文主要研究了基于Hadoop技术体系构建的大数据平台的安全防护技术。论文在充分调研Hadoop平台已有的安全防护技术基础之上,首先对Hadoop平台底层进行了研究,深入了解Hadoop平台在认证、授权、审计和数据保护四个方面的运行机制及相应的保护模型。在了解Hadoop平台通信原理及底层支持的接口之后,论文针对Hadoop平台在认证机制复杂、授权管理分散、审计和数据保护不足等方面分别进行了建模并提出了相应的保护方案,最后结合当前最新的开源技术Knox,设计了一种能够满足大部分应用场景安全需求的大数据平台安全防护模型。该安全防护模型采用网关的方式,代理用户对大数据平台的访问,通过屏蔽内部大数据平台来防止平台本身的漏洞被利用,且在网关处进行集中的认证和授权管理来解决Hadoop平台原有的认证机制复杂和授权管理分散等问题。最后,本论文基于设计的大数据平台安全防护模型设计并实现了大数据安全监控平台系统。与目前已有的第三方安全防护模型不同,本论文提出的模型采用网关的方式对大数据平台进行安全防护,模型实现更为简单、容易管理,且模型的代理服务功能通过插件的形式实现,因此,其能够根据不同的大数据平台进行相应的动态调整。此外,该模型只需要在网关处进行单点认证即可访问大数据平台中任意的组件,在授权方面实现了集中式授权管理,并支持服务层授权和细粒度授权两种授权管理模式。在数据保护方面,该安全防护模型还能够对敏感数据进行脱敏操作以保证用户的数据安全。实验结果表明,基于本论文提出的模型设计并实现的大数据安全监控平台能够有效地对Hadoop平台进行安全防护。