在接收端和发送端都使用多个天线的多入多出(MIMO)系统能够成倍地提高无线链路容量和可靠性,满足日益增长的对无线数据传输的需求。然而由于从不同发射天线发出的信号之间的相互干扰,在MIMO系统中实现低复杂度的最大似然信号检测面临着巨大的挑战。在本论文中,我们主要专注于MIMO系统准确最大似然信号检测算法的研究,提出了一系列新颖的具有最大似然性能的低复杂度检测算法。我们也研究了正交空时块编码无线通信系统的最大似然联合信道估计和信号检测的问题。通过将MIMO信号的最大似然检测问题转化成在树图上搜索最近网格点的问题,我们提出了两类最大似然或者近最大似然检测算法:最大似然堆栈算法和度量引导算法。最大似然堆栈算法实现了低复杂度的准确最大似然MIMO信号检测,而度量引导算法在实现近最优检测性能的同时也能够很方便地实现各种程度的检测性能和检测复杂度的折中。球形译码算法是一种可用于MIMO最大似然信号检测中的低复杂度检测算法。在传统的球形译码中,如何最优的设定搜索半径以降低计算的复杂度是一个经典的开放问题。我们提出了一种新颖的球形译码算法(IR-SD),并且从理论上证明了IR-SD算法在最小化球形译码算法搜索最优解过程中所需要的计算复杂度方面是最优的,解决了如何最优地设定搜索半径的问题。仿真结果表明IR-SD相比已有的最快的准确最大似然球形译码算法大大降低了计算复杂度。另外,我们也提出了一种基于并行竞争扩展的球形译码器(P-SD),仿真结果表明这种球形译码器可以更快地找到准确最大似然解,同时仅需要与问题维数成线性关系的存储复杂度。最后,我们研究了非相干正交空时块编码(OSTBC)无线通信系统的最大似然联合信道估计和数据检测的问题。经过推导,我们证明了这个问题可以归结为整数最小平方问题,并提出采用IR-SD球形译码算法进行求解的方案,明显地提高系统性能和频谱效率,并降低了检测复杂度。