互联网为高效的信息交流提供便利的同时也被恶意攻击者们所利用。目前攻击行为日趋复杂与隐蔽,对网络安全构成的威胁日趋严重。尽管入侵检测技术在抵御网络攻击等方面取得了一定的效果,但其本质上是一种被动防御机制,不具备对攻击行为预测的能力。当今网络环境中,更为积极主动的攻击行为预测技术对大规模高强度攻击防御尤为重要。传统基于隐马尔可夫的预测、基于贝叶斯的预测以及基于攻击图的攻击预测研究都无法取得精确的预测效果。本文为解决攻击预测研究中现存的问题,通过关注进程运行中产生的系统调用序列,构建了一种基于循环神经网络的端到端攻击行为预测模型。通过学习己知系统调用序列和预测序列的时序依赖关系映射,实现对网络攻击行为轨迹充分而精确的预测。本文为降低异常入侵检测模型的误报率,提出一种基于预测序列补充的异常入侵检测模型训练方法,并针对该方法构建了一种门控卷积神经网络模型,有效提升了模型准确率和召回率。此外本文利用对抗样本对模型的健壮性进行分析,并采取了相应的防御措施。本文主要成果如下:(1)构建一种基于循环神经网络的端到端网络攻击预测模型。本文利用系统调用的语义性特征,将系统调用看作进程和操作系统交互的语言,使用循环神经网络语言模型对己知序列建模,然后基于端到端架构构建预测模型,利用注意力机制捕捉预测序列和己知序列间的对齐关系,通过系统调用序列预测达到获取攻击意图的目的。(2)提出一种基于预测序列补充的异常入侵检测模型训练方法。本文提出利用预测出的系统调用序列作为入侵检测模型的训练数据补充,并针对该方法构建了一种门控卷积神经网络模型。相较于标准的训练方法,预测序列能为模型提供更多有效信息,提高模型的检测效果。在不同入侵检测分类模型上的实验结果展示,基于本文方法训练的模型在表现上均高于标准方法训练的模型。(3)通过研究对抗样本,提高模型健壮性。本文通过对神经网络对抗样本进行攻防实验分析,采取以下两种措施保证本文模型的健壮性:1)通过研究深度学习梯度下降优化算法的健壮性,为本文模型确定了更健壮的优化算法。2)针对本文系统调用序列提出对抗样本序列生成算法,用对抗训练的方式提升模型健壮性。上述工作为网络攻击行为预测提供了新的研究思路,同时本文训练的入侵检测模型有明显的效果提升。此外本文也为对序列模型的安全性研究提供了新的方法。本文工作具备较强的可迁移性,在实际网络安全防御中有很好的实用性。