移动通信和互联网的高速发展，使得人们对宽带无线接入的需求越来越迫切。多载波技术特别是正交频分复用(OFDM)具有如下优势：高的频谱效率，可以很好地适应多径信道特性从而实现简单的均衡器，可以通过快速傅立叶变换(FFT)实现，和可以动态地适应信道特性。多载波技术因而受到了越来越多的研究者的重视。而多输入天线多输出天线(MIMO)系统因为能大幅度增加无线通信系统的谱效率和提高传输可靠性而得到了越来越多的关注。本论文主要针对多载波／多天线无线通信系统中遇到的检测和均衡问题进行了研究。本论文首先在分析无线信道传播特征的基础上，讨论了常见的传输信道的物理模型，然后研究了典型信道建模的基本问题。进而本文介绍了多载波／多天线系统的基本原理，包括OFDM基本原理和系统参数设置；多天线传输的信息论基础，分集技术原理，线性空时码原理及其ML检测，空时复用技术等问题。随着未来系统的高移动速度，高载频和大子载波数所导致的长OFDM符号都将使系统的性能正越来越深地受到快速时变多径信道所带来子载波间干扰(ICI)的影响。为此本文首先给出了一种用于OFDM符号估计的全局最优随机搜索方法，并证明了其渐进全局收敛特性；同时为了改进全局最优的随机搜索算法的收敛速度和实现复杂度，提出了一种可实现的次优的随机搜索算法，并结合实现分析了所提的次优随机算法的计算复杂度。仿真结果表明，相对于已有的经典迫零检测和时域并行干扰消除的方法，所提的次优的随机搜索方法都能大大减小检测的误码平层。正交空频OFDM系统能进行简化的最大似然线性检测的前提假设是在空频编码所占用的OFDM子载波组内，信道的频域响应保持不变。由于载波数的限制和实际传输信道的非理想性，实际系统中信道的频域响应不可能在编码占用的子载波组内保持不变。已有的经典最大似然检测和并行干扰消除的方法对于实际传输中恶劣的多径信道或总子载波数较少的情况会出现严重的误码平层。为此，本文提出了两种基于串行迭代的线性最小均方误差(LMMSE)估计的检测方法。在第一种LMMSE方法中，随着迭代不断地更新待检测符号的一阶和二阶统计特性；为了减小第一种检测方法的复杂度，在第二种LMMSE方法的迭代中仅仅利用判决反馈。仿真结果表明，相对于基于经典最大似然检测和并行干扰消除的方法，所提的两种方法都能大大减小检测的误码平层，并且能够取得接近ML检测的性能。所提的方法亦可推广到正交空时OFDM系统在时变多径信道下的检测。本文还讨论了块传输的单载波MIMO系统在频率选择性信道下的软均衡问题。虽然BCJR和维特比算法能实现最优的检测性能，但复杂度是随着输出的个数和信道记忆长度呈指数增长，因而难以实现。本文针对满秩的MIMO信道(即接收天线数不少于发送天线数的情况下)提出了两种具有类最大似然(ML)的性能的低复杂度的次优软均衡算法。这两种算法都采用了基于滑动窗的子信号模型。在第一种算法中，我们利用了发送符号恒模特性，并提出了一种基于符号度量的max-log-MAP球译码器(MLMSD)。这一MLMSD有三个特点：可以利用从邻近子模型传来的更新的发送符号的先验信息；使用了基于LMMSE滤波的预处理；使用了一种改进的贪婪枚举策略。对于非PSK星座，可以先利用QAM到QPSK变换，进而利用第一种软均衡方法。针对第一种软均衡的弱点，即对于接收分集较小时复杂度大，处理QAM星座会导致子信号模型秩缺失上升等，本章提出了第二种软均衡。此种方法结合了软干扰消除(SIC)和现有的MLMSD，首先使用SIC改造了子信号模型，得到近似等价的列满秩的子信号模型，进而把MLMSD应用于此近似等价子信号模型，可以得到发送比特的后验信息，并根据这些后验比特信息可以得到更新后的一，二阶统计量，这些一，二阶统计量将被再后来的SIC操作使用。仿真表明，对于PSK星座，第一种软均衡方法在接收分集较大的情况下，能比已有的基于概率数据拟合(PDA)滤波的软均衡方法和第二种软均衡方法以更小的复杂度实现接近ML检测的性能；第二种软均衡方法的复杂度随着接收分集的稍有增大，但是都低于基于PDA滤波的软均衡方法，而其性能依然接近于ML检测，而不像基于PDA滤波的软均衡方法和第一种软均衡方法那样会出现和ML检测越来越明显性能差距。