深度学习(deep learning,DL)在计算机视觉和自然语言处理等领域取得了巨大的成功,但是许多研究发现深度神经网络(deep neural networks,DNN)模型在对抗性环境下鲁棒性较差,例如在输入样本上加入微小的扰动可使DNN模型输出错误的结果,导致该模型鲁棒性下降。国内外学者将DL方法应用于通信信号识别,取得了比传统的统计识别方法更高的识别率。但对其在对抗性环境下,存在的鲁棒性问题研究甚少,也未见其鲁棒性增强技术报道。由于无线通信信号处于开放性环境,易受攻击,解决基于DL的通信信号识别在对抗性环境下的鲁棒性问题,是其走向应用必须解决的核心问题。本文首先分析了该识别模型所存在的鲁棒性问题,即:在识别网络上利用快速梯度符号法(fast gradient sign method,FGSM)和投影梯度下降法(projected gradient descent,PGD)生成微小恶意扰动,再将该扰动迭加到合法样本上,输入该识别网络,即可造成信号调制格式的错误识别。为了解决这一问题,本论文借鉴图像分类中的深度网络防御策略,并充分利用通信信号星座图的特殊性,设计并验证了三种防御机制:首先是蒸馏防御机制,该算法在原模型输出概率函数中引入参数温度,且训练同一DNN模型两次,第一次训练使用原数据集产生概率分布矩阵,将此概率分布作为新标签用于第二次训练,蒸馏防御机制使得DNN识别模型更加平滑,减小输入点附近的梯度幅度,从而增大生成对抗样本的难度,并且降低其对扰动的敏感性,以此防御对抗样本的攻击;第二种是PixelDP防御机制,首先在网络结构中前面几层的位置插入服从拉普拉斯或者高斯分布的噪声层,并在噪声预处理层引入灵敏度计算,以此降低其对输入扰动的敏感性,然后在测试阶段对每个标签多次预测概率值求平均得到期望估计值,最终算得期望估计值的稳定边界,得到模型在对抗性环境下的鲁棒边界;最后一种是对抗性训练防御机制,提出并利用鞍点公式解决DNN模型鲁棒性问题,将鲁棒训练转化为双层优化问题,首先内层最大化对抗损失的问题通过使用PGD算法生成对抗样本来解决,其次外层最小化问题即找到最小化对抗损失的模型参数,该问题通过利用随机梯度下降(stochastic gradient descent,SGD)法在PGD对抗样本与原样本组成的新训练集上进行训练来解决。除此之外,本文利用通信信号星座图的稀疏和聚集特性,提出了一种将通信系统I/Q信号点看作灰度值并按距离权重分配到灰度矩阵中,进行计数形成星座灰度图的数据预处理办法。实验结果表明:在数据集RML2016.10a上,采用本文提出的数据预处理方法,在VT-CNN2模型上实施蒸馏防御机制和PixelDP防御机制,在FGSM攻击步长为3,信噪比10dB以上时分别可达到59%,61%左右的识别准确率,相比无防御机制VT-CNN2模型56%的准确率,以上两种防御机制准确率分别提高了3%和5%左右,并且均未增加过多计算开销及训练时间,但是蒸馏防御机制仅适用于输出层使用Softmax函数的DNN模型,PixelDP防御机制仅适用于预测函数是返回概率向量中最高概率标签的多分类问题。同一VT-CNN2模型上实施对抗性训练防御机制时,在FGSM攻击步长为2,信噪比10dB以上时可达到74%左右的识别准确率,相比无防御机制VT-CNN2模型的62%,准确率提高了12%左右,在攻击步长为0.2,8次迭代的PGD攻击下,当信噪比10dB以上时达到80%的识别准确率,相比无防御机制VT-CNN2模型58%的准确率,准确率提高22%左右。因此,对抗性训练防御机制较上述两种防御机制取得更明显的效果,虽然这种训练方式所耗费的训练时间较多,但是它适用于多种DNN模型,并且能够防御广泛一阶攻击。