随着移动互联网的快速发展以及多媒体应用需求的不断增加,移动用户对无线通信系统的性能提出了更高的要求。多天线技术能够在不增加功率和频谱带宽的前提下,大幅度地提高无线通信系统的传输速率和频谱效率,从而成为了无线通信系统的关键技术。在未来的无线通信系统中,仍然面临着频谱资源的紧缺,为了最大化利用频谱资源,通信网络倾向于采用同频组网或者采用频谱复用系数较高的方式来组网,这将导致严重的共信道干扰,使得无线通信系统成为一个干扰受限的系统,干扰问题成为制约网络性能提升的瓶颈。如何抑制无线通信系统的干扰进而提升系统的频谱效率是目前业界研究的热点和难点。本文针对多天线系统干扰处理相关技术进行了研究,在对多天线通信系统中引起干扰的诸多因素进行了深入分析和研究的基础上,主要完成了以下具有创新性的研究成果：1.针对MIMO广播信道中信道量化误差与反馈导致的干扰问题,提出了一种基于最小均方误差准则迭代优化的MIMO广播信道预编码方案。该方案基于随机矩阵理论分析了量化信道的相关统计特征,综合考虑了预编码技术对系统性能的提升和量化误差导致的用户间干扰,以期望信号最小均方误差为优化目标函数。理论分析与仿真结果表明,相对于协作迫零方案,本文提出的预编码方案能够有效提升系统的容量。2.针对已有的协作多点传输系统中的信道状态信息(Channel State Information, CSI)的量化误差与反馈方法的问题,提出了一种动态反馈比特分配算法。该方法分析了信道量化误差对协作多点传输系统容量的影响,利用了用户位置的不同导致的大尺度衰落非均匀特性,以系统容量损失最小化为目标,基于算术几何平均不等式(Arithmetic Geometric Mean Inequality, AGMI)理论来估计比特分配数目,最小化量化误差带来的容量损失。理论分析与仿真实验表明,相对于平均比特分配方式,本文提出的动态比特分配算法,能够在总反馈比特数量不变的条件下有效提高协作多点通信系统的容量。3.时变MIMO干扰信道干扰对齐中需要共享信道状态信息,实际信道状态信息的获取存在着量化误差和时延误差,本文综合研究了量化误差和时延误差对系统容量和自由度的影响,提出了一种信道量化与反馈机制。该方法对时变MIMO信道进行马尔科夫建模,基于随机矩阵理论推导出了量化误差和信道时延特性导致的系统容量和自由度损失上界,将此上界作为时变MIMO干扰信道中干扰对齐设计与实施的主要参数。理论分析与仿真实验表明：在一定范围内反馈时延的减小、反馈比特数的增加都会提高系统的容量,但是当反馈时延增大到一定的程度时,反馈比特数的增加对系统的性能改善效果不显著。4.针对干扰对齐技术在实际MIMO干扰网络中的应用,提出了一种最优发射机部署策略。该方法通过将大规模密集MIMO干扰网络中的发射机分布抽象为泊松域上的粒子分布问题,将发射机的位置在二维平面上建模为一个齐次泊松过程,并以此为基础,分析了基于有限反馈的信道状态信息统计特性,推导出了系统中断概率和网络容量的近似闭合表达式,为大规模MIMO干扰网络发射机的部署提供了理论依据。理论分析与仿真实验表明,本文得到的理论结果能够对实际干扰网络中干扰对齐技术的实施提供有效指导,具有重要的理论和应用价值。5.针对已有的大规模蜂窝D2D异构网络中干扰管理存在的问题,提出了一种混合干扰管理机制。该方法基于随机几何理论对大规模蜂窝D2D异构网络进行了建模,根据蜂窝通信和D2D通信在系统中的不同传输方式,给出了一种基于波束赋形技术以保证蜂窝通信可靠性,以及基于干扰消除技术以保证蜂窝通信对D2D通信的零干扰约束方法,推导出了混合干扰管理机制下系统的成功传输概率和平均容量表达式。在此基础上,根据蜂窝基站中剩余自由度对D2D通信约束的松弛效应,给出了一种通过优化干扰消除半径的理论,进行基站发射自由度的优化配置方法,以进一步提高系统的区域频谱效率。理论分析与仿真实验表明,本文提出的混合干扰管理机制能够有效提高大规模蜂窝D2D异构网络的性能。