壳的出现,使软件保护进入了一个新的时代。加壳技术已广泛应用于软件保护,在软件逆向分析、软件解密和恶意软件检测等过程中,软件脱壳已成为十分重要的环节之一。软件壳检测是脱壳的前提,它为后续的脱壳工作奠定坚实的基础。目前,较成熟、应用广的壳检测算法大多基于壳特征,通过建立壳特征库、查询特征串来判断待测文件是否加壳,但这些算法无法检测特征库以外的特征串,且易被欺骗。本文重点围绕软件壳检测算法进行研究。首先,介绍了国内外PE文件壳检测、脱壳技术的现状及相关软件,对这些技术作了深入的分析;重点探讨了可选映像头、区块、输入表以及资源等其他相关结构,侧重剖析了PE文件格式。其次,为了提高检测率,当前的PHAD采用了基于特征向量的壳检测技术,但由于PHAD中的特征向量不能充分反映加壳文件的特征,再加上向量中每个元素具有相同的权重,使得漏报率、误报率偏高。本文针对这些缺陷,在PHAD的基础上,采用增加特征向量的元素、优序对比法确定权重值以及带权欧氏距离计算距离等策略,提出了一种基于带权欧氏距离的壳检测算法。该算法由确定阈值与壳检测两个阶段组成,这两个阶段执行前都要进行相应的准备工作,判断待测文件是否满足PE文件格式和计算待测文件的NCV向量值。确定阈值阶段主要的任务是确定阈值,同时将该值提供给壳检测阶段;壳检测阶段根据阈值判断待测文件是否加壳。实验结果表明,该算法的漏报率及误报率分别是PHAD的1/16与1/8,壳检测的准确率提高了近12%。最后,对壳的加载与执行过程进行了分析与研究,给出了一种能有效提取加壳程序隐藏信息的内存监测数据采集算法,算法可在加壳程序执行过程中跟踪存储器,在内存写操作发生时收集加壳程序需要写的数据。在数据采集算法基础上确定测试空间后,结合壳检测算法和手动脱壳技术中的ESP定律方法,设计了一个原程序入口点确定算法,可获得加壳程序的入口点,然后执行转存等操作完成脱壳。论文成果对PE文件脱壳的研究具有一定的理论参考价值和实际应用价值。