网络给我们带来生活、工作的便捷之余,也同样带来了数据泄露、账户信息被窃取等各种安全隐患。随着网络的不断更新迭代,网络安全形势也愈发纷繁复杂,网络入侵检测作为防护网络安全的一种重要手段,近些年来也一直被广泛关注,然而,为复杂和高维数据开发有效的网络入侵检测方法仍然是一个挑战。首先,对结合了压缩网络和生成式模型的网络入侵检测算法深度自编码高斯混合模型（Deep Autoencoding Gaussian Mixture Model,DAGMM）进行了研究,针对该算法在编码时不能很好地抓住数据特性的问题进行了改进,提出了变分自编码高斯混合模型（Variational Autoencoder Gaussian Mixture Model,VAGMM）算法。采用变分自编码器,隐藏层得以更好的获取数据的重要信息,并在编码器的输出中加入高斯噪声,也使得解码时对噪声具有鲁棒性。利用KDDcup99数据集进行了实验验证,实验结果表明,与DAGMM方法相比较,模型的精确率得到了改善,进而验证了本文算法的有效性。其次,为了在一定程度上解决不平衡的分类以及不同类别之间具有不同的分类难易程度等问题,通过对轻量的梯度提升机（Light Gradient Boosting Machine,Light GBM）算法的研究,提出把基于代价敏感向量实现的焦点损失（Focal Loss,FL）函数融入到Light GBM分类方法中,构建了基于Focal Loss函数的轻量的梯度提升机（Focal Loss based Light Gradient Boosting Machine,FLLight GBM）模型。在KDDcup99数据集和UNSW＿NB15数据集上进行了对比实验研究,跟传统机器学习方法和Light GBM方法对比,模型精确率得到了提高且召回率较高,进而验证了该方法的有效性。最后,由于网络流量数据具有典型的长尾分布特性,而这种特性会使训练出的模型产生偏差,所以针对这一问题进行改进,将数据均衡技术应用到模型中,减少因少数类数量过少而导致的分类错误,提出了将合成少数类过采样技术（Synthetic Minority Over-Sampling Technique,SMOTE）和最近邻（Edited Nearest Neighbor,ENN）混合采样方法与FLLight GBM模型相结合的入侵检测技术。并且在KDDcup99数据集和UNSW＿NB15数据集上进行实验,实验结果表明,SMOTE+ENN数据均衡技术提高了FLLight GBM模型的整体性能和分类准确率。