近年来,随着网络加密技术的普及,越来越多的网站和应用使用该技术保护通信过程中的个人隐私。然而,使用网络加密技术的恶意攻击事件也在逐年增长,依赖于数据包内容的传统检测方法如今已经无法有效应对隐藏在加密流量中的恶意软件攻击,因此给基于流量的恶意软件检测方法带来了严峻的考验。据研究统计,目前超过60%的网络流量是通过TLS/SSL加密的,其中由恶意软件产生的流量占10%以上。而在网络加密协议中使用频率最高的是HTTPS协议,因此有必要对基于HTTPS的恶意软件流量进行研究。本文提出了一种基于多层自动编码器的加密恶意流量检测算法。通过深入分析HTTPS协议的工作流程,提出了基于协议的特征提取方法,并根据流量通信行为特性,设计了特征扩充算法以及基于聚类算法的特征映射算法。通过设计对比实验,本文验证了所提出的算法具有较高的检测准确率。除了HTTPS协议,恶意软件还会使用SSH、Tor等网络加密协议发送恶意攻击。对于一些僵尸网络,如Mirai及其变种,甚至会使用多达11种协议进行攻击。研究表明,目前僵尸网络的通信模式正在快速演进,并且非常灵活。显然,针对每一种恶意软件使用的网络协议单独设计检测算法已经不再适用于现如今的网络环境。因此,为了能够应对不同协议下的加密恶意流量检测,本文提出了基于Profile HMM的加密恶意流量检测算法。该方法利用生物信息学上的基因序列比对分析,通过匹配关键基因子序列,实现识别加密攻击流量的能力。我们通过使用开源数据集在不同条件下进行实验,结果表明算法的有效性。此外,本文讨论并实验了该方法对传统非加密协议的恶意流量检测能力,证明了提出的方法具有不依赖于通信协议的特性。本文最后还对两种算法进行比较讨论,设计并实现了规避检测的方法,通过实验验证了规避方法的有效性。相较于已有研究,本文工作具有广泛的应用场景以及较高的检测准确率的特点,在基于加密流量的恶意软件检测研究领域提供了多个角度的解决方案。