通信信号的调制方式识别是软件无线电的核心技术之一，其目的就是在未知调制信息的前提下，从接收信号中分析出通信信号的调制方式，并估计出相应的调制参数，为后继的信号处理做准备。如何有效地识别和监测这些信号，在民用和军事领域都有重要的研究意义。支持向量机具有较强的学习和识别能力，能较好地处理复杂的非线性问题，而且具有较好的稳健性和潜在的容错性，在调制识别中被广泛应用。首先，论文主要研究了基于支持向量机(SVM)的调制方式识别算法。以基于瞬时特征的调制识别为研究的切入点，给出了各种调制方式瞬时特征参数的提取方法，并通过仿真分析了其特征参数随信噪比的变化规律。针对AM、FM、2PSK、8PSK、2FSK、4FSK、16QAM、64QAM信号，本文没有直接采用SVM一对多、一对一、二叉树等多分类方法对这八种信号进行分类，而是通过分析信号的特性，提出类间到类内的识别方案，尽可能的把多类问题化分为两类问题来解决，从而减少SVM分类器的数量。在数字调制方式的类间识别中，通过仿真对比分析SVM一对多、一对一、二叉树多分类方法对识别效果的影响，仿真结果得出，基于二叉树的多分类方法优于其他两种方法。为验证基于SVM调制方式识别的可行性，并研究了基于RBF神经网络调制方式识别算法。其次，为提高SVM的识别性能，采用混合核函数的支持向量机，并利用遗传算法(GA)优化SVM模型参数的方法。该方法结合了SVM的学习性能和遗传算法的寻优性能，与传统的方法相比，具有速度快、误差少、效率高的特点。通过遗传算法对基于混合核函数的SVM模型参数进行优化，能够充分发挥各种核函数的优点，从而大大提高了SVM的分类性能。最后，本文在基于数字化无线信号探测器的硬件平台上实现了基于SVM调制方式识别算法。在实际环境测试中，调制信号AM、FM、2PSK、8PSK、2FSK、4FSK、16QAM、64QAM有比较高的识别率。