随着网络强国战略的提出,高速、移动、安全、泛在的新一代信息基础设施成为拓展基础设施建设空间的重要内容,网络空间安全受到前所未有的重视。软件定义网络(Software Defined Network,SDN)作为一种新的网络架构,越来越多应用到企业网、云计算、运营商、校园网等环境,同时也面临着更多的安全风险。近年来针对软件定义网络的攻击行为越来越多,恶意加密流量便是其中的突出一项。恶意加密流量是由采用加密技术的恶意软件产生,相比明文,隐藏了恶意软件的活动行为,更容易绕过现有的恶意流量检测方案。因此,完成软件定义网络下恶意加密流量检测对保障网络空间安全具有重要意义。软件定义网络对流量具有一定程度的可视能力,但还不足以透视流量的种类和用途。当前软件定义网络下的恶意流量检测方法并未对加密流量作特别关注,存在着检测能力不足的问题。因此,为设计一个检测效果良好、适合软件定义网络环境的检测方案,进行了三个方面的研究工作:首先,提出一种基于数据流指纹、主机端检测和控制器端检测相结合的检测方案。主机端部署数据流级检测模型负责迅速、高效地检测恶意加密流量,控制器端部署连接四元组级检测模型负责可靠地解决主机端的误检。方案使用数据流指纹作为输入数据,并为解决SSL指纹信息量不足的问题提出了基于数据流全过程的指纹增强方法。然后,提出基于增强后的数据流指纹,利用高阶马尔科夫链在主机端构建高效检测模型,实现数据流级的恶意加密流量检测。高阶马尔科夫链相比一阶马尔科夫链能够更好学习当前状态跟已发生状态的依赖关系,提升检测效果。最后,提出基于增强后的数据流指纹,利用卷积神经网络在控制器端构建可靠的检测模型,实现连接四元组级的检测。卷积神经网络提取局部特征、多层次特征的能力能够很好挖掘数据流指纹的时间相关信息。为使指数据流指纹信息能够用于连接四元组级恶意加密流量检测,提出了一种特征映射方法。论文实现了主机端加密流量检测算法和控制器端加密流量检测算法,在复杂的加密流量数据集上进行了实验并验证了基于数据流指纹和高阶马尔科夫链的数据流级检测方法的有效性,验证了基于数据流指纹和卷积神经网络的连接四元组级检测方法的有效性,并最后验证了检测方案的有效性。