论文部分内容阅读
随着网络带宽的快速增长,传统的入侵检测系统难以实现对海量数据的实时检测,丢包、漏包、检测率低的现象频频发生,已无法提供有效的安全支持。针对该问题,许多技术被应用到分布式入侵检测中提高对海量数据的处理效率,但仍然存在诸多的不足。如何保证分布式入侵检测系统中有效的数据分割及各结点的负载均衡,提高对高速数据流的实时检测效率,仍然是当下研究中需要重点解决的问题。 针对当前分布式入侵检测系统中大规模数据并行处理时面临的问题,本文在对分布式集群中的数据分割及负载均衡策略进行深入研究后,提出相应的解决思路,具体工作如下: (1)提出了一种基于能力与负载的数据分割算法。该算法依据采集到的集群内各数据分析结点的系统性能指标及运行状态,评估结点的数据处理能力与负载程度。基于结点的能力与负载适应因子,权衡结点在集群中的权重,实现海量数据在集群内各数据分析结点间的动态数据分割,为结点分配适应其能力与实时负载的数据粒度。仿真测试结果表明,该算法能够根据结点能力与负载程度合理地将数据分割并分配给各个结点,具有较好的负载均衡性,有效地降低了数据处理时间,提高了数据并行处理的效率。 (2)提出了一种基于能力与任务完成时间的数据分配方法。该方法基于对集群内各结点硬件指标的采集,量化各结点的数据处理能力;通过监测结点的资源利用情况,评估结点的负载;在周期性地进行数据分配时,通过分析结点在实时负载情况下的任务完成时间与无负载情况下的任务执行时间的关系,调整分配给结点的数据量,使得集群内各结点对数据处理的完成时间趋于一致。仿真测试结果表明,该方法有效缩短了集群内各结点任务完成时间的差异,具有较好的负载均衡性,提高了集群的并行效率和吞吐量。