随着国民经济建设的飞速发展以及百姓生活水平的显著提高,人们对移动通信的需求越来越大,要求更高的传输速率、稳定的通信质量和方便的用户接入,并且满足多种业务服务质量(QoS)的需要。但是,无线频谱资源是有限的,为满足宽带传输的需求必须提高频谱资源的利用率。在LTE及LTE-A无线通信系统中,不仅一个蜂窝小区内的多个用户可以使用相同的频率资源进行通信,相邻小区的也可以使用相同的频率资源以提高整个系统的频谱利用率。为了抵消或减少由此产生的小区内以及相邻小区间的多用户干扰,需要对多用户的多输入多输出(MIMO)的预编码技术及小区间干扰抑制技术进行深入的理论分析与算法开发的研究,这也是近年来国内外无线通信领域的一个研究热点。多用户MIMO预编码研究主要分成两大类,一是块对角化(BD)的预编码方案,另一类是基于信漏噪比(SLNR)的预编码技术方案。BD方案能够完全抵消多用户间的同信道干扰,使多用户MIMO信道变成多个单用户的MIMO信道,但是其性能受到信道噪声的影响较大。相对于BD的预编码方案,基于SLNR的预编码方案不存在噪声增强的作用,同时对天线数目没有严格的限制。本文的一个研究重点就是多用户的MIMO预编码技术中基于SLNR的预编码方案。首先,本文把脏纸编码(DPC)的思想应用到基于SLNR的多用户MIMO预编码的设计上,提出了一种基于连续信漏噪比(SSLNR)的多用户MIMO预编码方案。DPC的基本思想是当干扰在发送端是已知的时候,可以通过一定的方法消除其影响。在基于SSLNR的多用户预编码方案中,利用DPC的思想,对别的用户已知的泄漏,可以在发送端叠加一个信号将其抵消,因此计算SLNR时,暂时忽略可以抵消的泄漏,只考虑对其他用户未知的泄漏,最大化SLNR,求出预编码矩阵。然后,对等效的信道矩阵利用Tomlinson-Harashima预编码(THP)方法,抵消前面计算SLNR时忽略的泄漏。该方案相对于传统的基于信漏噪比的多用户MIMO预编码方案,在中高信噪比条件下,误比特率性能得到了提升,同时该方法也继承了基于信漏噪比的预编码方案的优点即对发送天线数目没有限制。其次,为了进一步提升基于SSLNR的预编码方案的性能,本文提出了基于各天线连续信漏噪比(PA-SSLNR)和基于几何平均值分解的信漏噪比(SSLNR-GMD)两种预编码方案。基于SSLNR的预编码方案和原始的SLNR预编码方案一样,每个用户的多个数据流之间存在着增益差。如果不采用自适应调制编码方式,系统的误比特率性能将由最差的子信道决定,从而出现较大的系统性能损失。针对该问题,我们提出两种改进方案:a)在每根接收天线上而不是每个接收机上做SSLNR运算,降低每个用户的多个数据流之间的增益差;b)把GMD应用在SSLNR的预编码方案中,使得每个用户的多个数据流完全等增益。同时通过对天线或者用户的排序,进一步提升用户间的公平性,从而提升系统的误码率性能。同时,本文在考虑非理想的信道状态信息(CSI)的条件下,对提出的基于SSLNR预编码算法及其改进算法,进行了鲁棒性设计。使在非理想CSI条件下,鲁棒性算法的BER性能与非鲁棒性算法相比有了一定的提升。最后,本文研究了小区间干扰抑制问题,提出了更软的软频率重用(SerFR)的小区间干扰协调方案。小区间干扰抑制技术通过对小区间的频率、时间、功率、空间、码等资源的管理控制,从而达到抑制小区间干扰的目的。软频率重用(SFR)是一种常用的小区间干扰协调技术,它能够提高小区边界用户的性能,但由于边界用户只能使用高功率的频段,会有多用户分集和频率选择性调度增益的损失,对整个系统容量具有较大的不利影响。针对此问题,本文提出了更软的软频率重用(SerFR)方案,使得小区的边界和内部用户可以在整个频段上调度,从而改善了多用户分集和频率选择性调度增益,提升了小区边界用户的吞吐量。同时本文也讨论了如何把SerFR的思想应用到宏小区和微小区的异构网中。