多天线系统(Multiple-Input Multiple-Output,MIMO)是近年来数字通信领域中重大的技术突破之一。MIMO系统在发射和接收两端配置了多根天线,充分利用了信道的空间特性,实现了多个数据流在相同频带和相同时间的传输和接收,不仅提升了通信系统的传输质量和传输速率,而且又不增加额外的带宽消耗,是新一代无线移动通信系统采用的关键技术之一。本文首先介绍了无线通信信道和MIMO无线信道的基础知识,深入分析了多天线无线通信的原理、当前的研究进展,重点对传统的MIMO系统信号检测算法进行了研究,其中包括最大似然检测算法、迫零检测算法、最小均方误差检测算法和干扰消除检测算法,并且通过仿真分析比较这些传统信号检测算法的检测性能。其次,分析了MIMO系统信号检测算法中近年来被广泛研究的球形解码算法,重点研究了球形解码算法中两个传统的算法,即VB算法和CL算法。在CL算法的基础之上,本文提出了一种改进的球形解码算法。改进的球形解码算法首先对信道矩阵进行重新排列,然后引入半径迭代的思想,建立新的搜索半径更新公式,对低信噪比时的半径进行抑制,从而达到降低算法计算复杂度的目的。仿真实验表明,改进的球形解码算法在不引起明显的性能损失时,达到了降低传统球形解码算法复杂度的效果。再次,介绍了适用于发射天线数目多于接收天线数目这种MIMO系统信号检测的广义球形解码算法,并提出了一种新的快速广义球形解码算法,即双层球形解码算法。由于在双层球形解码算法的整个检测过程中搜索半径的初始值是非常重要的,而理想半径的确定本质上是个寻优过程,所以本文提出了一种基于蚁群算法的双层球形解码算法来对其进行改进,采用蚁群算法对内外层初始化搜索半径进行优化,进一步减少其算法的计算复杂度。仿真实验表明,改进的双层球形解码算法在确定高质量初始半径的同时,也使算法本身的搜索得到优化,在较宽的信噪比范围内有效的降低了双层球形解码算法的计算复杂度。