未来移动通信系统须要支持每秒百兆甚至千兆以上的传输速率,在无线频谱资源日趋紧张的情况下,需要深入探讨并拓展应用MIMO传输技术,充分挖掘利用空间维度的无线资源,提高频谱利用率,改善小区边缘用户的性能。MIMO技术是公认的下一代移动通信系统的关键技术,而MIMO系统中的有限反馈技术对于发送端获得信道信息,发送端的预编码及功率分配方案有着重要的作用。而多基站协作技术对提高频谱利用率,改善小区边缘的性能,满足未来无线移动通信的传输速率和频谱效率要求,具有重要的意义。本论文重点研究了与MIMO系统的有限反馈技术和多基站协作MIMO系统相关的几方面问题：单基站和多基站协作MIMO系统有限反馈性能的分析,单基站和多基站协作MIMO统的用户调度,多基站协作系统反馈方案设计,多基站协作系统中天线选择和基站选择等。论文工作的创新点主要体现在以下几方面：1)针对Nakagami-m衰落信道下,多个发送天线单个接收天线(MISO)系统,分析了采用随机向量量化有限反馈波束成形时系统的性能,推导出了平均比特错误概率和中断概率的闭式解,并将得到的结果扩展到基于接收天线选择的MIMO系统。通过对闭式解的进一步分析,揭示了各系统参数与系统性能之间的联系,为实际系统应用提供了理论依据。2)针对多基站协作波束成形系统,分析了有限反馈对系统吞吐量的影响,在各协作小区内只有一个活动用户和多个活动用户两种情况下,推导了吞吐量损耗的上限。经分析获得了吞吐量损耗的上限值与反馈bit数之间的关系式。在每个小区多个用户情况下,设计了一种最优的用户反馈比特分配方案,当用户总反馈比特数固定时,通过最优反馈方案可使吞吐量损耗的上限值最小。3)针对基于有限反馈的MIMO下行多用户系统,分别对单基站和多基站协作两种情况提出了适合系统特点的调度算法。在单基站系统中,算法以系统吞吐量的下限为目标函数,通过最大化吞吐量下限的办法选择用户,使系统获得多用户分集增益,从而增加了系统吞吐量。在多基站协作调度系统中,提出了一种基于机会SDMA的用户调度算法。算法中每个基站采用正交随机向量作为波束成形向量,参与协作的各基站间通过高速链路共享波束成形信息。在接收端计算每个用户的SINR,发送端选择SINR最大的用户作为调度用户。采用该算法进行用户选择时,不需要考虑干扰小区的用户选择结果,很好的解决了多基站协作调度的困难,并获得了系统容量的增益。4)针对基站协作系统的特点,提出了一种基于误差修正的有限量化反馈方案。方案将信道向量量化过程分为与协作基站数相等的若干步骤,每一步量化均对前一步的量化误差进行修正。该方案在复杂度和系统性能方面获得了很好的折中,适用于多基站联合处理的基站协作系统。5)根据多基站协作系统的特点,对多基站协作系统中应用天线选择技术的两种方式：分布天线选择和基站选择进行了研究。针对多基站天线选择提出了三种天线选择算法：最优基站天线选择算法(OAS, Optimal Antenna Seletction),基于协作基站总体信道矩阵范数的天线选择算法(ACFAS, Aggregate Channel Frobenius Norm Antenna Seletction)和基于每个协作基站信道矩阵范数的天线选择算法(ICFAS, Individual Channel Frobenius Norm Antenna Seletction)。 OAS算法,是一种穷举性能最优的算法,ACFAS算法和ICFAS算法是两种次优的低复杂度算法。其中ACFAS算法以全部协作基站与用户的整体信道矩阵的Frobenius范数为天线选择的目标函数,而ICFAS算法则以参与协作的每个基站与用户的信道矩阵的Frobenius范数为天线选择的目标函数。针对多基站协作系统中的基站选择,提出了一种综合考虑基站选择和用户调度的基站、用户联合的选择算法。该算法以系统容量最大化为目标,在用户端和基站端分步骤进行基站和用户的联合选择,同时在用户端加入了波束选择,从而达到系统性能的最优化。