在当今信息化时代,互联网和多媒体飞速发展,物联网和云计算不断兴起,导致所产生的数据具有明显的海量性和异构性的特点,在存储和处理这些数据的技术选择中,基于Hadoop技术实现的大数据平台展现出其强大的整体解决能力,有效提升了各业务系统存储和处理数据的效率以及便捷性。在数据量持续增大、业务逻辑日益复杂以及大数据平台多租户使用的情况下,数据所有者对平台数据访问权限的管理正变得愈发重要。现有的开源权限管理方案如Apache Ranger、Apache Sentry等,可以为Hadoop平台提供一定程度的安全防护,但是当企业实际业务需要管理的数据粒度超出这些开源管理方案当前所支持的授权粒度范围时,如Hive的partition、HBase的cell等,这些开源解决方案则无法发挥作用。因此,本文通过对现有业务需求的背景和目前所面临的的问题进行全面分析,并结合Hive、HBase等组件的实际情况,通过调研现有的权限管理方法以及一些框架的具体实现思路,设计并实现了一种Hadoop大数据平台的权限管理工具。该工具具备前端门户,方便用户操作;提供数据持久层,支持将数据权限配置进行持久化;并设计一种权限管理的实现方法,来解决上述问题。本文主要工作内容如下:(1)进行了完整需求分析,确定该管理工具所应具有的监控和管理功能,包括用户管理,权限信息的设定和修改,查看审计数据等功能,并根据功能对系统模块进行初步划分,大致包括用户管理、插件系统以及管理门户等模块;(2)设计并改进Hive等组件内部相关流程。由于管理工具对数据资源的访问控制需要用到资源所对应的数据对象以及用户所请求操作等信息,为了使本工具可以检查Hive分区数据的权限,需要Hive端将上述信息封装成对象,并以参数形式传递给本管理工具,来判断是否允许用户进行相关操作;(3)设计并实现该权限管理工具。进行系统的整体架构设计,并基于项目需求来确定各模块所需的基础操作接口。设计一种权限鉴定方法,根据管理员预设信息以及组件传入参数来计算权限控制结果,并设法减少不必要的存储资源消耗以及简化管理员的操作流程。进行数据库的设计,包括逻辑设计和物理设计;(4)设计并实现前端门户平台,采用基于Bootstrap和j Query的前端框架实现管理功能的可视化操作,包括权限信息的设定、用户信息以及审计数据的查看等,均可通过前端页面来进行。通过测试和实际应用,表明本文所实现的大数据平台权限管理工具可实现可靠的权限管理,且具备一定的高可用性和高性能。该工具能够简化对相关组件的权限管理工作,并减少不必要的存储资源消耗,具有实用性。