目前对抗勒索软件的技术主要是静态特征分析和动态行为监控技术。静态分析技术实现简单、检测速度快,但难以对抗代码混淆和加壳,同时由于勒索软件本身代码的复杂性以及其更新的频繁性,静态分析方法缺少对新型勒索软件足够的感知能力;传统的动态行为监控技术往往需要捕获足够多的勒索软件运行信息才能触发检测条件,导致其检测不够及时,用户仍会遭受一定程度的损失,并且难以消除正常加密和压缩软件对检测结果的干扰。而针对勒索软件网络通信行为或加密前行为的早期检测技术难以在勒索软件加密前获取检测所需的必要信息,也难以聚焦于勒索软件的普遍行为,因而无法同时保证检测方法的检测率和早期检测效果;基于诱饵文件的检测方法虽能在一定程度上提升早期检测效果,但目前相关研究仍未提出系统性的诱饵文件设计与部署方法,往往由于诱饵文件设计不理想导致其研究整体检测的误报率上升。根据当前背景并结合以上研究,本文从诱捕防御出发,提出了Windows平台上一种基于诱饵文件和进程文件行为的勒索软件早期检测方法。本文方法提升了在勒索软件对抗中防御者的防御资源,可进一步增强已有的动态检测方法,并且由于本文方法核心机制不依赖于任何平台相关技术,因此理论上可应用于任何操作系统中。首先,在基于诱饵的检测方法中,本文首先根据目前有关诱饵研究在诱饵设计与部署方面的缺陷,从文件命名、文件数量配置、文件类型选择以及文件部署路径等方面提出了一套在勒索软件检测领域中的诱饵设计与部署方法。然后将精心设计的诱饵文件部署到勒索软件最先可能访问的文件夹中,并监控对诱饵文件的可疑访问行为,以此来实现早期检测的目的。其次,为了解决在少数情形下基于诱饵的检测方法可能失效或无法及时检测到勒索软件的问题,本文进而提出了一种基于文件行为的勒索软件补充检测方法。在该方法中,本文首先定义了与勒索软件操作有关的五种可疑文件行为,并详细描述了相关行为可疑程度的度量方法。随后根据进程的可疑行为提出了一种进程恶意程度评分的计算方法。最后通过实时监控系统中各进程的文件行为更新其恶意评分,并将评分超过设定阈值的进程认定为勒索软件。实验结果表明,两种检测方法对未知的勒索软件的检测率均为100%。此外,基于诱饵的检测方法的早期检测效果最好,可在勒索软件加密至少0个且至多5个用户文件前进行检测;而基于文件行为的检测方法早期检测效果虽然整体上不如前者,但在检测某些勒索软件时早期检测效果更好,且该方法仅依赖于系统中进程的正常文件行为检测勒索软件,因此其可作为基于诱饵的检测方法失效或无法及时检测到勒索软件时的补充检测方法。