近年来,文本分类技术在机器学习和深度学习理论的支撑下进步斐然,各类深度神经网络分类模型在基于多种公开数据集的实验中展示出了可媲美人类的分类效果。遗憾的是,该技术在给我们带来极大便捷的同时也暴露出安全隐患。研究表明,当前提出的许多文本分类模型严重依赖文本的统计分布规律,并不能够很好地反映文本语义层次的高级特征。这导致基于深度学习的文本分类系统可能会面临对抗风险,即攻击者可通过对文本的关键字、词和句等进行修改以生成对抗样本,实现在不影响人类对语义理解的情况下显著改变相关模型的识别结果。采用了对抗样本技术的钓鱼邮件、网络谣言和诈骗短信等恶意文本能够轻松躲避基于神经网络的识别系统检测,达到侵财及散播等目的,成为网络安全新的风险和挑战。本文聚焦于以中文文本分类为代表的自然语言处理技术的安全性问题,重点研究能够测试现有中文文本分类模型鲁棒性的对抗样本生成技术,在此基础上探讨高效、可靠的对抗样本检测技术。本文主要研究内容和贡献有:1、梳理并总结了自然语言处理领域的对抗样本研究现状。针对中文文本分类模型面临的对抗样本风险,在厘清对抗样本相关概念的基础上,首先对基于深度学习的自然语言处理模型的多种脆弱性成因进行分析,总结文本对抗样本的特点、分类和评价指标,并对该领域对抗技术涉及到的典型任务和数据集进行总结;然后对文本对抗样本生成技术以及相关防御技术进行归纳分析。最后,对目前自然语言处理对抗样本领域攻防双方存在的痛点问题进行探讨。2、提出了一种面向中文文本分类模型的黑盒对抗样本生成方法CText Perturbator。该算法包含扰动定位器和对抗决策器两个主要部分。扰动定位器基于黑盒测试思路,在模型内部细节未知的情况下通过查询评分机制定位显著影响分类结果的关键词;并引入视觉感知权重约束噪声位置,增强隐蔽性。对抗决策器使用形近字、繁体字、拼音替换等多种对抗噪声生成策略扩充扰动搜索空间,提升攻击成功率,以生成与原句视觉相似的对抗样本;还引入了基于深度强化学习训练的决策网络,能够根据关键词和目标语句选择合适的噪声策略,最终实现对基于深度学习的中文文本分类系统的对抗攻击。3、提出了一种基于胶囊网络和自注意力机制的中文对抗样本鉴别模型MCCaps Net。在对抗信息表征方面,模型采用了多通道的设计结构并引入胶囊间自注意力机制,能够对输入文本进行多层级的表征,以发现样本中可能包含的异常词向量和上下文相关的对抗性特征;在模型优化方面,提出一种快速动态路由算法,使得模型在高准确率的同时兼顾运行效率,可用于对实时性要求较高的对抗文本检测场景中。在基于CText Perturbator算法生成的对抗样本数据集的实验结果表明,该模型在检测效果和效率方面均具有优势。