在许多通信应用中,需要接收机在先验知识不足的前提下监视空间信号的活动情况,区分信号的性质,甚至截获其传输的信息内容。如电子对抗中的战场电磁频谱活动监视、政府职能部门对民用通信信号的管理等。调制方式是区分不同性质通信信号的一个重要特征。调制方式的自动识别(简称调制识别)是分析截获通信信号的一项重要任务。其目的是要从一段给定的接收信号中,在未知调制信息内容的前提下判断出通信信号所使用的调制方式,为进一步的信号处理提供必须的信息。在信号检测的意义上,可以将调制识别归结为一种假设检验问题。而在模式识别意义上,调制识别可以看成是一个具有多个未知参数的多元模式识别问题。经过近几十年的发展,调制识别的研究已经取得相当的成就。在分类特征提取、分类器构造、分类算法设计及优化等方面,均有大量研究成果报道。但由于非协作通信的复杂传输环境、新的调制方式不断涌现,以及调制识别本身内在特性,调制识别领域远未发展成熟。表现为尚缺乏一个完整的研究体系,如现有方法缺乏普适性、对假设条件依赖较多、识别性能没有一个统一的评价标准等。进一步研究的方向可能包括适合低信噪比及大信噪比变化范围的特征提取、非理想信道、非高斯噪声环境下的调制识别方法、对参数估计依赖少或对参数估计误差鲁棒性强的识别算法、效率更高的分类器设计、共信道多信号分析以及复杂调制方式的识别等。本文在前人工作的基础上,以无线通信环境中的数字调制信号为对象,应用假设检验和模式识别方法,重点针对这些较新的部分问题做了一些研究。具体说来,本文的主要工作和创新点包括以下几点:(1)详尽阐述了本论文研究工作的背景和研究的意义。对与本论文研究方向相关的国内外最新发展动态和研究进展进行了广泛而细致的归纳和总结。讨论了部分现有方法的优缺点及调制识别待发展和深入研究的方向。(2)综合考虑决策树识别器和RBF神经网络识别器的优点,并结合一些已有的优秀调制识别算法,提出一种数字调制方式综合识别体制。能对AWGN信道下常见的2ASK、4ASK、2FSK、4FSK、MSK、BPSK、QPSK、8PSK、4QAM、16QAM和64QAM信号进行准确识别。(3)分析了衰落信道对调制识别带来的影响。衰落传输使无线信道呈现出时变响应的特性,并导致码间串扰的产生。我们分析了衰落环境中基于决策理论的似然函数调制识别算法,并研究了使用多天线接收信号的分集技术用于调制识别时,有关的参数估计及其对分类性能改善的问题;(4)研究了非高斯噪声下的调制识别问题。传统的通信信号调制识别方法常假定信道噪声服从高斯分布,而实际通信环境中的大气噪声能用稳定分布更准确描述。由于非高斯稳定分布随机变量不存在有限的二阶及其以上的高阶统计量,我们将非高斯噪声下接收的调制信号建模为稳定分布的随机变量通过线性滤波的自回归过程,首次采用分数低阶矩方法提取信号的瞬时频率和带宽特征,实现脉冲噪声环境下的调制识别;(5)研究了分形理论在调制识别中的应用。我们将现有的基于盒维数的调制识别方法推广到使用多重分形谱特征,并深化分析了多重分形谱特征的噪声性能。使用基于相空间重构和关联积分的方法提取信号多重分形谱特征,采用RBF网络分类器进行调制识别,提高了已有识别方法的准确率;(6)阐明了跳频序列的预测是调制识别在扩频通信中的一个应用。基于跳频序列具有混沌特性和混沌序列可短期预测的基础,我们利用混沌序列的自仿射分形性质,提出了一种新的混沌序列预测方法。建立了预测模型并分析了模型参数确定、预测实现步骤及算法的性能,并讨论了使用该算法进行跳频序列预测的有关问题。综上所述,本论文以调制识别的两种基本方法——假设检验和模式识别为基础,围绕数字通信调制信号的分类特征、分类器设计、衰落环境及非高斯噪声下的调制识别、跳频调制序列预测等问题展开论述。论文的研究成果突出反映了调制识别领域的新进展和发展方向,对于调制识别领域的理论完善和工程应用有一定的推动作用,同时本论文也为后续相关课题的进一步深入研究奠定了理论和技术基础。