在大规模的网络攻击中,为了对网络环境中的攻击和防御实行高效的动态布控,主要存在两个关键性的问题。第一、网络状态监控,第二、防御时机的选取。攻击图技术是一种针对网络脆弱性而建立的关联分析技术,通过攻击图可以对网络环境进行安全分析以及动态防御。文中通过对Q-learning机制的分析,智能体利用推理引擎对攻击者的行为进行模拟。智能体利用Q-learning机制对攻击图环境进行探索,在探索的过程中生成攻击图。并且在此基础上本文建立了基于安全距离的动态防御模型,利用文中算法和模型进行了软件的开发。具体来说,本文主要的贡献如下:(1)针对传统攻击图生成算法效率低和生成攻击图规模小的问题,文中提出一种基于Q-learning机制的攻击图生成的方法。该方法根据Q-learning机制的特征,将攻击者模拟成智能体对网络进行连续的漏洞利用攻击,将攻击图中的攻击路径模拟成智能体的学习场景。由于智能体的场景之间是无状态的,因此可以通过分布式的方式进行攻击图的生成。(2)在网络安全防御中,本文考虑到部分服务和功能的修复代价比较大。网络防御的决策并不是盲目的进行漏洞修复和防火墙的重设置。本文结合攻击者的攻击动作决策和Q-learning机制,提出针对不同安全风险的动态防御策略。(3)对于上述工作进行了基于Q-learning机制的动态防御软件的设计,该软件采用前后端完全分离的方式。软件也利用了几种常见的设计模式,如单例模式以及建造者模式在Q-learning引擎后端的应用。通过前端React框架实现基于组件的单页面应用的开发,完成了对指定网络进行攻击图的生成和基于安全距离的动态防御模型的实时可视化研发。