论文部分内容阅读
随着云计算的发展和应用范围不断扩大,云环境下的安全和隐私问题日益突出。传统安全手段已经不能满足云环境下的检测需求,无论是在检测能力,响应速度,还是在系统规模等方面都存在着诸多限制。建立云环境下高效的入侵检测系统已经成为入侵检测领域重要的研究方向。基于云计算提供的超大规模计算能力与海量存储能力,本文提出了一种云环境下基于非监督学习的入侵检测系统,系统能够对海量入侵检测数据自主学习,实时检测,检测准确率高,误检率低。本文的主要研究工作和成果包括:首先分析了当前云环境面临的安全威胁,以及常见的攻击手段,入侵检测技术和现阶段云环境下入侵检测系统的优缺点。再通过研究模糊C均值聚类算法在云环境下入侵检测的不足,提出利用正熵和容错距离优化目标函数的改进型模糊C均值算法MEOFCM,解决了算法针对噪声数据敏感和需要预定义模糊加权指数问题。并提出利用Canopy聚类进行改进算法聚类预处理,解决了算法针对初始化分类参数敏感和预定义聚类数目问题。然后针对海量高维入侵检测数据中存在的冗余和噪音严重影响检测时间和检测效率的问题,提出了在MapReduce并行计算框架下基于Lanczos算法的并行化SVD算法PLSVD。利用PLSVD算法对入侵检测数据进行特征提取,实现了对云环境下入侵检测数据的数据降维处理,降低了检测时间,提高了检测效率。针对单机环境下聚类算法很难对海量入侵检测数据进行聚类检测的缺点,提出了两种算法的MapReduce并行化实现,解决了海量数据聚类问题。并结合PLSVD算法,实现了云环境下的并行入侵检测。最后利用提出的分布式入侵检测算法,建立了基于Hadoop云平台分布式入侵检测系统,阐述了系统的检测流程,对系统中的每个模块进行了相应的说明。并展开相关实验,结果表明本文算法具有较高的检测率和较低误报率,系统具有良好的实时性和可扩展性。