论文部分内容阅读
企事业单位网络中安全防御设备产生的海量日志具有多样性、高冗余度、看似“分散独立”却存在关联性的特点,现有传统的独立集中式日志分析平台计算能力有限,无法满足日志海量、多样性的要求,缺乏针对海量多源网络安全日志的高效融合分析方法的研究。 因此,本文引入Hadoop海量数据处理技术,研究并设计针对防火墙、IDS和主机监控系统的海量多源日志数据采集、清理、规范化处理方法,并将日志存储于分布式文件系统(HDFS)中;提出一种基于MapReduce的多维度的日志聚合算法M-DLA(Multi-dimensionalLogAggregation)和时间阈值自更新方法,实现海量日志的冗余处理;研究并设计一种告警融合分析方法,结合制定的规则策略、资产库、脆弱性信息和关联知识库,判断真实发生攻击事件的有效告警;同时,采用Hadoop技术实现网络告警融合分析原型系统。 实验结果表明M-DLA算法能有效聚合冗余日志,融合分析方法能准确区分有效攻击,基于Hadoop的原型系统可高效率完成日志分析处理。通过本文研究,解决了“分散独立”的海量多源日志的有效融合分析技术和单机处理效率的瓶颈问题,提升安全事件监测时效性和有效性,为网络态势评估预警提供参考依据。