目前,与日俱增的恶意代码对公民的隐私、权利以及国家安全都有着严重的影响,因此研究恶意代码具有重要的政治、经济和社会意义。逆向工程分析技术能够在本质上分析和理解恶意代码行为,有效应对变化多端的恶意代码,完成对恶意代码的检测。本文主要研究内容如下:1、针对采用单一特征检测恶意代码存在的局限性,提出了基于感知哈希和特征融合的恶意代码检测方法。首先,通过感知哈希算法对恶意代码灰度图样本进行检测,快速划分出确定恶意代码家族和不确定家族的样本;然后,对于不确定家族样本再进一步提取局部特征LBP（Local Binary Patterns,局部二值模式）与全局特征Gist,并将二者融合,通过机器学习算法对恶意代码样本进行分类检测。实验结果表明,相较于仅用单一特征,融合特征的检测准确率更高,并且所提方法与仅采用机器学习的检测算法相比,检测速度提高了93.5%。2、针对非逆向方法中恶意代码灰度图检测存在的问题,提出了基于静态逆向工程的恶意代码分析检测方法。首先提取19类恶意代码家族样本的汇编代码,并通过B2M（Binary to Matrix,二进制转矩阵）算法将ASM汇编文件转成灰度图;然后提取灰度图的Gist与LBP特征并进行融合,采用随机森林算法检测。实验表明,相对于非逆向方法中的单一特征检测灰度图以及基于深度学习的恶意代码灰度图检测,基于汇编代码的恶意代码检测准确率有明显提高。3、针对非逆向方法和静态逆向分析存在的问题,提出了基于动态逆向分析的恶意代码分析检测方法。首先通过改进信息增益算法构建行为匹配模块对样本进行预筛选,将样本划分为黑色（恶意程序）、白色（正常程序）和灰色（不确定性质）三个区域。对于灰色区域的样本,将样本的API调用序列通过马尔科夫链中的状态转移概率矩阵转化为马尔科夫图像,采用CNN（Convolutional Neural Network,卷积神经网络）算法进行检测,检测准确率为99.7%。实验表明,相对于本文研究的非逆向方法以及静态逆向分析,基于行为分析的恶意代码检测方法具有高准确率的优势。