现如今互联网已经从国家层面到企业层面慢慢进入到每个人的生活中,互联网已经成为了21世纪的又一次新的革命,但互联网的也面临着海量数据的处理,信息安全等诸多问题。在大数据的时代里,运营商的迅速壮大,各大网络电商平台相互的竞争发展,数据的如何实时处理,信息安全如何保证。如何降低数据的维度来提高数据的处理速率等等也一直是我们研究的热门问题。在这样的背景下,传统的入侵检测技术无法达到预期效果,入侵检测技术开始向人工智能和分布式等新型方向发展。另外,传统的串行计算模式已经无法满足海量数据的处理,集群模式的分布式平台已经逐渐的取代串行计算模式,特别是Hadoop大数据的计算平台,Spark大数据计算框架具有得天独厚的优势。本文通过研究传统的智能优化算法-飞蛾扑火优化算法(MFO)的优缺点,对其进行优化改进,并实现在Spark分布式计算框架上并行运行。本文完成的主要工作内容如下:(1)对传统的MFO算法进行介绍并分析不足之处,然后对算法进行二进制的改进,并使用二进制的MFO算法进行特征选择。由于海量数据无法在单机模式下有效的处理,对传统的算法进行Spark并行化处理。分别在Spark集群和单机模式上,对传统的MFO算法和改进的MFO算法进行测试,分别在加速比、运行效率和分类精度等方面进行对比,最终验证基于Spark的飞蛾扑火优化算法具有很好的性能,能够更加有效的、稳定的处理需要迭代的海量数据。(2)针对飞蛾扑火优化算法在处理优化问题时容易陷入局部最优,分类精度不高,全局收敛速度差等问题,本文使用Cauchy跳跃进行种群初始化,通过引入指数函数对MFO算法的收敛因子进行改进,最后对当前最优飞蛾个体执行混沌扰动,提出了一种改进的MFO算法。基于改进的MFO算法有效的提高了传统MFO算法的分类精度和避免了早熟现象。(3)针对海量高维的数据进行预处理,然后对数据进行降维操作。本文利用三种降维方法对网络入侵检测数据进行降维,减少需要检测的特征数。使用支持向量机对数据进行分类,对异常数据进行判别,并区分入侵检测类型。实验表明该方法能够有效的对数据进行降维,降低了算法的运行效率,同时提高算法的分类性能和入侵检测效率。