复合调制信号广泛应用于测控系统,因其同时具有模拟调制设备复杂度低和数字调制保密性强等特点,在卫星通信、测控、测距以及广播系统中的应用日益广泛,在卫星通信中发挥着重要作用。针对复合调制信号开展调制识别方法研究,可以有效地推动现代复杂通信环境下的测控技术向前发展。目前,复合调制信号识别的相关研究主要依赖于人为提取信号特征的识别算法。传统方法的识别性能高度依赖人为设定特征的准确性,泛化能力较差,在低信噪比下的识别率较低。因此本文基于数字接收机,针对参数不同的两种信号集分别提出基于级联SVM（Support Vector Machine,支持向量机）和残差网络的复合信号调制识别方法。针对测控系统中常用的固定带宽复合调制信号集（MTONE-FM、2ASK-FM、BPSK-FM、QPSK-FM）,提出一种基于全数字接收机和支持向量机的调制识别算法。通过全数字接收机的鉴相误差提取FM复合信号的内调制信息,通过级联SVM分类器对内调制信号的功率谱和平方谱整体图形特征进行分类识别。理论分析和仿真实验表明,对于固定带宽复合调制信号集,与传统的基于局部信号特征和决策树分类的识别算法相比,本文方法的识别准确概率平均提高了5%以上。针对测控系统中带宽可变复合调制信号集（带宽分别为2 k Hz和32 k Hz的2FSK-FM信号,带宽为2 k Hz和128 k Hz的BPSK-FM信号、带宽为2 k Hz和128 k Hz的QPSK-FM信号）,上述信号在频域图像上存在差别,但差异性较小,因此本文提出一种基于内调制信号频域特征和残差网络结构的复合信号调制识别方法。基于全数字接收机提取内调制信号,获得内调制的频域图像,并对图像进行搬移和裁剪,凸显差异部分,最后利用深层残差网络分类器收敛速度快、分类准确性高的特点,实现了不同调制模式、不同参数信号的识别。残差网络模型可以提取输入数据更深层次的特征,在深层网络下不会出现梯度消失或者梯度爆炸现象,因此可以用来区分特征较为相似的图像。实验结果表明,针对带宽可变复合调制信号集（2FSK-FM、BPSK-FM、QPSK-FM）,本文方法与广泛应用的星座图和CNN的识别方案相比,识别性能平均提高了3d B以上。