随着互联网技术的发展,网络攻击变得复杂化、多样化,网络与信息安全面临前所未有的挑战。因此,如何准确、及时地检测出网络和设备中的异常事件,对于网络和设备安全具有重要的意义。目前,针对网络攻击的防御手段主要有网络防火墙技术、安全扫描技术、加密技术以及异常检测技术等,其中,日志分析是异常检测领域的重要手段,是网络安全主动防御体系的重要组成部分之一。传统日志分析方法通过规则对单条日志进行匹配分析,检测效果很大程度上依赖先验知识,不能及时检测出未知攻击。目前日志分析技术的研究热点是与机器学习算法相结合,异常检测的准确度和复杂攻击未知攻击的检测能力有明显提高,但不同的算法往往性能参差不齐,尤其是处理海量数据时,多数算法的计算复杂度过高,难以满足海量日志分析的要求,而Apriori算法在处理海量数据时具有明显优势,该算法能够挖掘出海量日志数据的宏观统计特征,用于异常检测时能够过滤掉大部分明显正常的数据,从而极大地降低后期工作量,提升异常检测的效率。因此,本文以系统日志数据为分析对象,将聚类算法和关联分析相结合,对异常检测技术做进一步研究和实现。本文主要工作如下:(1)提出了一种基于哈希存储与事务加权的并行Apriori改进算法,提高关联规则挖掘算法的性能。该算法首先利用哈希存储的去重特性对事务去重,在一定程度上压缩了数据集;同时将项集与事务集的映射存储在HashMap中,计算支持度时只需计算项集对应事务集的权重,从而减少扫描事务数据库的次数;最后利用MapReduce编程思想,并行计算候选频繁集的支持度,提高算法的运行效率。实验表明,与传统Apriori算法相比,本文提出的Apriori改进算法性能得到大幅提升。在运行时间上取得与FP-Growth算法相近提升效果的同时,又避免了 FP-Growth算法内存开销过大的缺点。(2)提出了一种利用关联规则挖掘算法进行异常检测的完整解决方案。该方案解决了处理海量日志数据时,异常检测效率低的问题。方案包括数据采集、特征选取和模型的训练与检测三部分。首先,从目标设备上采集网络与设备日志,构建实验数据集;然后对数据集做预处理操作,包括清洗和归一化等。将预处理后的日志数据转换成特征向量后,使用聚类算法将数据集分为正常数据集和候选异常数据集,再利用关联规则挖掘算法对正常数据集进行关联规则挖掘,建立正常行为规则库,从而完成异常检测模型的建立;最后将待测数据进行预处理、特征提取以及频繁模式挖掘,与正常行为规则库进行匹配,完成日志数据的异常检测。(3)设计并开发了基于日志关联分析的异常检测工具,验证了本文所提异常检测方案的有效性。首先对日志预处理模块、特征提取模块以及日志分析模块进行了详细设计,并搭建了 Hadoop分布式以及Spark并行处理环境,然后对相关模块进行了编码实现,并在实验室环境下进行了仿真实验,验证本文提出方法的可用性和有效性。实验表明,本文提出的整套异常检测方案能够有效检测出目标设备中的异常事件,检测效率有明显提升,具有一定的应用参考价值。