随着计算机、网络技术的发展,网络安全已经逐渐成为一个全球性问题,受到世界范围内各行各业的高度重视。危害网络安全的行为主要有伪造、修改、窃听和中断。为排除系统隐含的安全威胁通常采用加密、身份认证、授权和审计等安全措施以提高网络的安全性。审计是通过追踪客户的访问内容和访问方式进而查找系统所存的安全隐患,从而制定相应安全措施以弥补系统存在的安全漏洞。日志审计系统是目前在计算机和网络中广泛使用的一种审计工具。随着企业的网络结构日益复杂,日志审计系统面临数据量巨大、数据存储格式和采集方式多样性和数据处理实时性等诸多问题。大数据技术的4V特征,Volume(大量)、Velocity(高速)、Variety(多样性)、Value(价值),表明采用大数据技术的日志审计系统必然成为下一代审计系统的发展趋势。本文通过对大数据Spark技术和日志审计系统的深入分析研究,对基于Spark技术的日志审计系统进行了详尽的设计和实现。在需求分析阶段,对需求进行了整体概述并且明确了系统开发的目标以及要解决的问题。使用用例图等UML工具按照功能性和非功能性的划分对系统需求进行了详细说明。其中功能性需求中对集中管理平台、告警分析、统计查询、审计倒查、日志采集进行了用例描述,非功能性需求中给出了项目约束以及开发和运行期项目质量需求。在系统架构部分根据系统需求分析得出了设计目标及原则并进一步给出了系统的物理架构和整体架构。其中物理架构系统在物理环境下所处的位置；系统的体系结构包括整个系统的完整功能模块。在系统架构设计完毕的基础上,对系统进行了更进一步的详细设计。详细设计包括整体结构设计、模块设计和数据库设计。整体的结构设计又分为横向和纵向两个角度的设计。横向结构由三层构成：展现层、业务层、模型层,纵向结构由三个模块构成：集中管理平台、分析模块、日志模块。该模块设计实现了日志模块、分析模块和集中管理平台,完成了日志采集、标准化、规则匹配、报警功能以及视图展示功能。数据库设计给出了数据库的整体结构设计和表结构。在详细设计的基础上,描述了具体实现和测试的部分工作内容。例如采集模块Flume的配置文件,XML规范化文件,分析模块主函数的代码以及系统运行情况等。最后对基于Spark大数据平台日志审计系统的应用情况作了简单介绍,并进行了总结,对基Spark大数据平台日志审计系统的发展进行了展望。本文所涉及实现的基于Spark大数据平台日志审计系统,具有速度快、伸缩性良好、处理数据量大等优点,在实际运行中取得了良好效果,为日志审计系统的分析和研究做出了有益的尝试。