现代无线通信对数据传输速率提出越来越高的要求，这促进了新型和复杂的信号处理技术的研究和应用。预编码技术就是在发射端利用信道状态信息对发送符号进行预处理以达到消除ISI和ICI，提高系统容量目的的信号处理技术。预编码技术的研究已成为无线通信研究领域中的一个热点。预编码技术着眼于提高无线通信的数据传输速率，已成为IEEES02.16e标准的一部分，包括开环和闭环的预编码方法；在3GPP标准中也使用了基于预编码的通过信道相位和幅度量化反馈的波束成形方法。在对称TDD系统中，接收和发射交替进行，此时接收端也是发射端，如果接收和发射的转化时间小于信道的相干时间，则在接收时估计的信道状态信息可用于下一发射时刻对发送信号的预处理。在其他应用中，可在接收端估计信道状态信息，再通过反馈信道发送到发射端。MIMO系统的信道容量与发射端和接收端的最小天线数成线性关系，这使MIMO技术成为B3G技术中最有前途的技术之一；OFDM技术由于较高的频谱利用率、能有效对抗无线信道多径衰落和易于实现等优点，也成为B3G技术研究的重要内容。因此本文重点研究OFDM和MIMO通信系统中的预编码技术，具体工作和创新点概括如下：首先，提出了一种OFDM系统中非充分CP时的预编码器的设计方法。虽然在OFDM系统中能使用CP作为保护间隔以抵抗多径衰落，但在实际应用中由于CP长度有可能小于信道最大多径时延而引入ICI和ISI，从而恶化系统的性能。本文考虑到信道估计误差和反馈信道时延带来的变化，用信道变化统一描述，给出了最大信道变化意义下的最优预编码器的设计方法。其次，本文研究了点对点MIMO系统中信道状态信息不完全时的预编码器的设计方法。用Jakes信道模型描述MIMO信道，假定接收端通过最大似然估计方法估计信道，并通过反馈信道发送到发射端，发射端和接收端根据各自的信道状态信息利用贝叶斯准则分别设计了MMSE意义下的最优的处理矩阵。再次，本文研究了基于LR的预编码技术，并将波束成形技术与之结合，提出了一种多用户MIMO系统中下行链路的预编码器的设计方法。该方法使用ZF波束成形将多用户信道划分为独立的单用户信道，再对各个单用户信道进行基于LR的预编码，解决了MIMO系统中下行链路进行预编码时，每个用户只能使用一个天线的问题，提高了系统的误码性能。最后，本文提出了一种基于Hilbert变换的MQAM信号的调制体制识别算法，该算法无需估计信号的载波频率，先通过FFT粗略估计信号带宽，再通过FFT和CZT从信号的平方包络中估计信号的波特率，然后根据最大功率定时算法获得正确的定时位置，并通过Hilbert变换的方法提取信号星座，最后进行聚类识别，以此得到接收信号所使用的调制体制，调制体制识别是非协作通信研究中的重要内容，有重要的理论和实际意义。