移动通信的快速发展要求加大网络覆盖,提高传输速率,同时要求容纳更多的用户。用户密度的提高导致小区内、中继站间、小区间和网络间的干扰日趋复杂,而不同的通信场景、移动速度、网络结构和用户行为模式也使得干扰形态多种多样,从而严重制约着通信网络容量与系统性能的进一步提升。在蜂窝无线通信系统设计中,如何有效抑制符号间干扰、共信道干扰、小区边缘的邻区干扰等复杂多变的干扰,迄今仍然是瓶颈,亟待研究解决。为此,本论文致力于从信道均衡和预编码角度探讨几种主要干扰的有效抑制问题,重点研究蜂窝无线网络的干扰抑制预均衡与协作空时预编码技术。论文首先对由信道时延扩展引发的符号间干扰展开研究,提出了一种基于有限域变换的预均衡方案。信号在发送端经过基域Harley变换与有限域均衡后进入无线信道传输,由于基域Harley变换具有与离散傅里叶变换相同的卷积特性,所提方案与正交频分复用(OFDM)方案一样能有效地抑制符号间干扰。同时,较之OFDM,本方案有更优的峰平比性能,且对载波频率偏差不敏感。通过对发送数据实行插零处理,所提方案具备一定的纠错能力。理论分析与仿真结果表明,所提方案能获得多径分集增益,其误码率性能与峰平比性能均优于编码的OFDM传输,且对载波频率偏差不敏感。其次,针对同一个小区内多个中继站复用传输引发的共道干扰,本文提出了一种适用于放大转发多中继蜂窝网的协作预编码方案。小区内的用户首先被划分为基站服务用户与中继服务用户。在两跳的传输过程中,基站通过集中式的TH预编码方式将用户数据发送给中继与基站服务用户；然后,中继间通过信道信息共享对接收到的信号进行干扰对齐的线性预编码处理,并将编码后的数据放大与发送至相应的中继服务用户；在第二跳中,基站采用干扰对齐方式服务一个新的基站服务用户。所提方案在实现无干扰传输的同时,能够最大程度的利用系统空间自由度,实现复用增益。论文分别针对基站服务用户与中继服务用户不同的预编码方式,对其遍历信道容量进行了理论分析,给出了各自的容量上限。仿真结果验证了所提方案在不同网络场景中的有效性,并表明与现有的算法相比,所提方案能够提供更高的系统吞吐率,且不受发送端定时误差的影响。接着,通过研究下行多小区协作传输,本文提出了一种基站间协作传输的预编码方案。该方案能够同时抑制小区内与小区间共道干扰,其主要思想是结合干扰对齐与干扰预删除两种方式,分别对小区间与小区内共道干扰进行抑制。小区间使用干扰对齐能增加系统的空间复用度,而小区内干扰删除则为获取系统分集度提供了可能。为了使所提方案在实际系统中能有效应用,论文提出了一种基于传统迭代干扰对齐实现的预编码优化方案。理论分析与仿真结果表明,由于采用了预删除与预编码优化,所提方案较之传统干扰对齐方式能够提供更多的分集增益,具有更优的接收性能。随后,通过研究多小区协作非相干传输,提出了一种多基站联合传输的酉空时调制方案。由于该方案在发送端与接收端均无需完备信道信息,因此适合在高移动性场景下的使用。在所提方案中,每个协作基站分别从共用的信号集中选取酉信号发送至共同的小区边缘用户,用户在接收到数据后利用最大似然检测技术恢复出每个协作基站发送的信号。相比于传统酉调制方式,基站之间的协作不仅有效的抑制了小区间干扰,还能提高该用户的传输效率。通过理论分析,论文给出了所提方案的成对错误概率闭合解,并基于该闭合解,提出了相应的信号集优化方案,以获取传输效率与可靠性之间的折衷。仿真结果表明,所提方案在块静止信道与时变信道下均适用。最后,本论文研究了时间-频率双选信道下的协作预编码传输,提出了一种两小区协作预编码方案,能够同时抑制符号间干扰与多小区共道干扰。所提方案选取短帧传输,来克服信道的时间选择性,并利用时域预编码,将小区间的共道干扰与符号间干扰对齐至同一空间,并在接收端一并舍弃。由于无需插入循环前缀,所提方案节约了系统频谱与发射功率。此外,针对于信道估计与反馈时延导致的信道信息过期问题,提出了一种改进的最大似然方案。在设计中,作者同时考虑信道的时间相关性与反馈时延的影响,以提高检测精度。针对快时变信道下的多小区信道估计,提出了嵌入式导频的方案,并对信道估计均方差与基于最小均方差的导频序列设计进行了理论分析。仿真结果给出了所提方案的信道估计均方差与误码率性能,验证了所提方案在双选信道下的有效性。