目前大量的恶意软件和良性软件都通过加壳来保护自己。有数据显示,从网上下载的恶意软件中,有58%都是加壳程序,这58%的加壳程序中又有35%使用了自定义壳,因此研究一种更好的自动化脱壳方法变得越来越有必要。本文设计并实现了PyREUnpacker,一种基于动态分析的PE（Portable Executable,可移植的可执行文件）文件自动化脱壳系统。通过将样本置于虚拟机中运行,PyREUnpacker动态分析样本的运行状态,监控并保存样本脱壳状态。通过WX-then-CALL（Written-then-Executed-then-CALL,写入后执行再调用）模型和最大ESP（Extended Stack Pointer,栈顶指针寄存器）搜索算法,PyREUnpacker能够在对样本所用的加壳算法未知的情况下,实现自动化脱壳。PyREUnpacker主要由5个模块构成:加壳检测模块、脱壳分析模块、内存dump模块、镜像处理模块和PE修复模块。加壳检测模块对待测样本进行特殊的熵值计算,并根据获得的熵值计算对应的加壳概率,通过加壳概率来判断样本是否加壳。脱壳分析模块将加壳样本置于虚拟环境中运行,通过监控其运行过程中的内存写入、指令执行、指令跳转和API（Application Programming Interface,应用程序接口）调用行为,来判断样本的脱壳进度,并通过内存dump模块保存内存数据,在结束分析后,脱壳分析模块还会结合WX-then-CALL模型和最大ESP搜索算法来寻找OEP（Original Entry Point,原始入口地址）。内存dump模块会对进程内存空间进行分析,保存可用的内存区域与信息,用于镜像处理模块的处理。镜像处理模块首先对不同时间点生成的内存镜像进行筛选,选择合适的基础PE镜像文件,再根据OEP的位置来合并堆中数据,得到一个PE镜像文件。最后,PE修复模块会对PE镜像文件进行EP修复、IAT（Import Address Table,导入地址表）修复以及节区权限修复。测试结果表明,PyREUnpacker的加壳识别准确率达到了85.0%,能够检测出绝大多数的加壳程序,同时,脱壳成功率达到了82.5%,高于对比测试的自动化脱壳工具的53%,表明PyREUnpacker能够对大多数的加壳程序实现自动化脱壳,从而提高恶意代码分析的效率。