信号调制作为当下通信过程中必不可少的一环,一直对整个通信系统整体性能以及传输能力产生着极大的影响,而随着现代无线通信技术的发展,调制信号的种类和方式也在不断变多,通信环境中调制信号的区分也变得愈发困难。因而调制识别这种对未知调制信号进行调制种类判断和分类的方法,在电子侦察、电子对抗、频谱检测等多种非合作通信场景下的接收机设计中都有着极大的研究意义,影响着后续通信信号的解调以及通信参数提取的实际性能。然而随着通信信号种类和调制方式的不断增加,通信环境的愈发复杂,传统调制识别方法这类针对少数调制信号才有较好分类性能的方法已经无法再满足当下的用户需求。本文针对这一问题,提出了一种基于神经网络以及支持向量数据域描述方法的未知调制信号开集识别系统,通过对复杂繁多的调制信号集进行一次有选择的筛选,分类出少数我们感兴趣的调制信号类型,以提高后续调制识别的处理性能。不同于传统调制识别对调制信号进行人工特征提取的方法,本文选择了神经网络这类提取性能优异,模型普适性更好的方法来完成特征提取以及压缩的过程。本文构建了两类神经网络用于调制信号的特征提取,其中一类是一维卷积神经网络,其对一维数据经行卷积的操作十分适合用于提取时间序列的相关特征,另一类神经网络我们采用了栈式自编码网络,其类似编码和解码的训练方法,可以在压缩数据特征的同时,尽可能保留能够还原输入数据本身的核心特征。在提取调制信号特征的基础上,本文基于支持向量数据域描述的方法,构建了用于调制信号的单分类模型,通过实验不同的模型参数、核函数以及正负类样本集构建方式,本文实现了多类型调制信号开集识别系统的分类模型,并分析了模型性能受不同系统参数的影响规律,最后给出了合理的正负类调制信号样本的划分方式。