论文部分内容阅读
伴随着网络技术的不断提高,高级持续性威胁(APT,Advanced Persistent Threat)这种有组织、有预谋的新型攻击手段成为现如今网络安全领域难以解决的一种问题。APT攻击并非采用了较为先进的技术手段达成攻击目的,而是利用存在已久的攻击技术,例如钓鱼邮件、DDOS、木马等等,但是它采用的攻击手段种类繁多,而且经过了黑客们长期制定攻击战略的过程,据此实现对目标网络或者设备攻击的目的,所以具体战术实现上也存在多样化。APT攻击主要是通过两个阶段完成攻击:前期侦测目标设备或者网络,后期采取大规模核心攻击达成攻击目的。因此如何早期对其侦测是至关重要的,但是由于APT攻击具有高度的隐蔽性、针对性以及伪装性,传统的安全技术手段难以发现。本论文提出了一种可以针对APT攻击的入侵检测手段,首先通过开源IDS工具Snort对网络数据进行分析,并对Snort的规则匹配进行优化,接着搭建Spark分布式计算平台,并针对Apriori关联算法加以改进,使传统Apriori算法的运行时间过慢、I/O操作巨大等缺点得到解决,并且针对性地加以修改,使其更适用于APT入侵检测,然后通过大数据挖掘技术发现告警日志中潜在的关联项,并将运算结果交由网络技术人员加以分析。本文通过实验,对DARPA数据集进行挖掘,比较改进后的Apriori算法以及分布式下传统Apriori算法的运行效率和精度。同时,对挖掘到结果加以分析,验证该方法是否能够有效的发现到APT攻击之间潜在的联系。综上所述,论文的主要工作和创新点包括如下内容:(1)研究并实现一种针对APT攻击的入侵检测方法,具体过程为搭建Snort提取告警日志,采用Spark分布式框架挖掘日志间的关联规则(2)改进Snort的匹配规则,使其匹配时效率更高,减少匹配过程中的运行时间(3)改进Apriori算法,基于矩阵思想,大大降低算法过程中的I/O操作。将Apriori矩阵算法应用于Spark分布式平台下,并且不降低算法的精确度(4)针对应用场景对Apriori改进,使其更加适用于APT攻击挖掘(5)每次求频繁项集前,对矩阵进行删减操作,加快Apriori矩阵扫描时的速度,从而使算法的速度更快(6)通过实验验证该入侵检测方法的可行性,以及与传统算法进行横向对比,验证算法速度是否得到提升。