PDF文档具有跨多平台性、格式一致性、不可编辑性等特点,广泛应用于信息发布、学术交流和日常业务,但其格式灵活,可以嵌入恶意代码;同时,PDF阅读器已被发现大量漏洞,且仍在不断曝出新的高危漏洞。PDF文档已成为黑客实施攻击的载体,利用恶意PDF文档进行钓鱼攻击是APT组织的重要手段,有效检测恶意PDF文档对发现网络攻击、提高网络安全防护能力具有重要意义。常规杀毒软件大多通过签名和启发式规则对恶意PDF文档进行查杀,但检测规则简单且具有滞后性,难以发现未知恶意PDF文档。目前,利用人工智能技术的恶意PDF文档检测模型主要是根据已出现的恶意PDF文档特征进行构建,检测模型准确率虽然已经较高,但泛化能力较低,对未知恶意PDF文档检测能力不足。本文对恶意PDF文档检测问题进行了系统研究,提出了基于正样本和单分类算法的恶意PDF文档检测方法,主要工作如下:（1）较为全面地梳理总结了当前恶意PDF文档检测的相关研究。对PDF文档安全问题进行了深入剖析,分析了PDF文档成为恶意代码宿主的内在原因;对恶意PDF文档检测中特征选择、特征获取、检测算法等进行了分析总结,详细对比分析了各种技术的优缺点;系统总结了恶意PDF文档检测对抗攻击和提升检测模型鲁棒性的方法,为构建基于正样本和单分类算法的恶意PDF文档检测模型的特征及算法选择提供了依据。（2）提出了基于正样本结构特征和稀疏自编码器的恶意PDF文档检测方法。根据PDF文档结构特点,设计了结构特征提取算法和编码方式,实现了结构特征的有效表示;选择使用稀疏自编码器算法进行恶意PDF文档检测,并设计了相应的网络结构。经实验验证,稀疏自编码器模型的结果优于单分类支持向量机、孤立森林、普通自编码器等模型;与使用恶意样本进行训练的检测模型相比,本方法具有较高的检测率,对已知恶意PDF文档检测率达到99.03%,对未知恶意PDF文档检测率达到95.99%。（3）提出了基于正样本Java Script特征和单分类支持向量机的恶意PDF文档检测方法。通过使用Java Script代码语义级别的特征和恶意关联特征构成组合特征,使特征选择更具有针对性;使用单分类支持向量机算法实现对包含Java Script代码的恶意PDF文档的检测,并设计了鲁棒性验证方法。经实验验证,本方法使用恶意关联特征能够提高检测模型鲁棒性,攻击样本规避率下降了7.68%;在保证了对已知恶意PDF文档的检测率的前提下,提高了对未知恶意PDF文档的检测率,对已知恶意PDF文档检测率为96.93%,对未知恶意PDF文档检测率为96.91%。（4）提出了基于正样本和单分类算法的恶意PDF文档检测框架。针对使用单个PDF文档特征存在缺陷的问题,通过特征选择和单分类算法分析,综合使用PDF文档结构完整性检测、基于结构特征检测和基于Java Script特征检测三个模块实现了泛化能力强的恶意PDF文档检测方法。在特征使用方式方面,针对正常PDF文档中包含Java Script代码较少的实际,将Java Script特征和结构特征单独使用构建检测模块。经实验验证,本方法与现有方法和使用单特征的检测模型相比,检测能力得到进一步提升,对已知恶意PDF文档检测率为99.25%,对未知恶意PDF文档检测率为98.48%。