随着互联网迅速发展,恶意软件在种类和数量上快速增长,病毒大量的变种使得基于固定特征的恶意软件检测变得越来越困难。恶意样本自动检测技术已经有较多的相关研究,但是目前基于静态检测的方法对于存在系统调用混淆的恶意样本存在局限性,现有的动态检测方法主要从动态调用序列的局部提取特征,并且检测结果的准确率有限。本文针对恶意软件动态行为分析,提出了冗余信息预处理算法,并在此基础上,设计实现了基于双向残差循环神经网络的模型,利用其处理时间序列数据的特性,直接对序列进行检测。本文还基于系统调用关联分析提出了一种新的序列特征提取方法,对序列中系统调用的依赖关系进行功能层面上的分析,提取特征,并使用随机森林进行检测。本文最后尝试了将两种方法进行整合,实验结果显示,两种方法均可有效检测恶意样本,而且整合之后,组合模型的AUC(Area Under the Curve of ROC)达到0.99。本文在现有开源系统的基础上,设计并实现了恶意软件智能检测系统,可以在局域网中自动拦截流量并捕获其中的文件,提交至系统检测,检测报告中包含了利用本文所提出的基于机器学习与深度学习的组合模型进行识别的结果。本文针对在实验过程中发现的问题,我们提出多种针对恶意软件分析系统的优化方法,包括基于生成对抗网络的恶意样本生成技术,针对恶意样本收集困难的问题,利用生成对抗网络,生成恶意软件样本,辅助模型训练;基于模型可解释性技术,提出了一种潜在恶意软件序列搜索算法,利用这种方法导出了在恶意样本分类中起到关键作用的特征模式,来帮助提高现有的恶意样本分析、取证技术。