论文部分内容阅读
大型企业如移动通信公司内部包括多个业务系统、通过唯一的主帐号进行关联,并将各业务系统的登录日志、操作日志以及主机、数据库等设备的操作日志进行统一采集,并针对用户的行为进行智能审计分析。原有基于关系型数据库的审计系统,随着业务系统的增多及用户推广,采集进程随着日志增多容易出现僵死和漏采,待审计数据达到一定记录级数,存在模糊查询、关联分析检索响应缓慢,性能急剧下降的情况。使用传统的数据仓库技术,成本昂贵(主机、磁盘阵列)。并且针对非结构化的审计数据处理并不擅长。通过运用云架构构建云审计平台,使采集系统支持分布式采集,在扩充采集入口的同时,引入搜索引擎的概念,以达到优化底层查询逻辑,利用云计算解决安全审计效率低下问题,能够在较低的硬件投入成本和较少系统维护成本前提下进行系统的动态扩充。本篇论文的构成如下:第一部分:对系统进行分析,对以前4A系统统一审计子系统的性能瓶颈进行分析。分析采集模块假死情况、“查询效率低下”、“关联分析能力差”、“分析任务并发能力低”、“维护量大成本高”、“日志量庞大,数据优化效果差”等方面的原因。第二部分:对设计进行简要论述,提出针对性的解决方案:对各实时非实时应用采集系统进行分布式部署,解决采集子系统假死问题;数据存储采用Hadoop作为审计数据分布式处理的技术框架通过存储方式的变化、存储结构的变化以及分析、检索框架调整,提供高效、多任务并发的数据分析处理能力;采用Solr技术来替代原有的iBatis框架。改进后的查询工作,将由原来的“半自动化”ORM映射查询全面提升为支持分布式日志存储的“全文搜索引擎;审计分析模块采用更先进的MapReduce框架替代原有的Quartz定时调度技术;实现部分智能预警分析功能。第三部分:对系统进行详细设计,对不同功能模块进行详细设计说明,说明不同子模块部分承担着何种功能及数据流转流程。第四部分:进行系统的编程实现,经过详细设计的评审,确保整体技术架构的可行性,采用面向对象的Java语言实现平台的采集模块及WEB呈现模块的业务逻辑部分,使用JSP+CSS+JS实现对外实现展示对统一审计平台的WEB前台代码进行编写实现。