多输入多输出（MIMO）通信系统是在理论研究和工程应用中的热点课题。其中信号检测是其中最为关键的技术，它是对混杂有不同用户（多用户）信息的通信信号进行分类检测，主要包括最优检测和次优检测两大类。现在次优检测技术占据主体地位，特别是智能信号检测是一个崭新的前沿课题，因此开展这一课题的研究，具有重要的理论意义和应用价值。本论文的主要工作如下：（1）基于支持向量机的智能检测技术研究。在小样本及信道估计不足条件下，为了找到检测速度和误码率的较优权衡算法，研究了基于粒子群算法和支持向量机的智能检测方法，主要对接收序列进行回归自学习训练，采用粒子群算法得到优化模型，然后输入待检测序列并进行判决。实验表明，设计的PSO-SVM检测器具有较高的判决精度，能够满足MIMO通信系统的要求。（2）基于相关向量机的智能检测技术研究。为了克服支持向量机本身存在的一些缺点，提出基于相关向量机（RVM）的智能检测技术，实验表明RVM具有在少量向量数目条件保证高预测精度的性能，比SVM和PSO-SVM算法具有更强的泛化推广能力，且所需计算的向量数较少，在MIMO信号检测中效果显著。（3）核函数的选取研究。探讨不同的核函数，如Cauchy核、多项式核和高斯径向基核等对于RVM分类器的影响，采用多分类方法进行仿真实验，分析出不同核函数在分类检测过程中的性能，得出有意义的结论，为多输入多输出通信系统智能检测器的设计提供理论依据。