在多天线系统中,为了在较低的复杂度下实现发射信号的检测,收发两端可以分别采用线性预编码和线性检测设计,其数学本质是发送端和接收端处理矩阵的设计。如果将两种线性矩阵结合起来进行优化,就产生了收发联合设计的概念。然而这种设计很大程度上依靠信道状态信息(Channel State Information:CSI)估计值的精确度,考虑到实际系统中存在量化误差,反馈误差及反馈时延,收发端获得的CSI通常存在一定误差(即不完全CSI),就需要对系统的收发设计进行鲁棒性研究。在当前的蜂窝网络中,存在一点对多点的下行链路通信,多点对一点的上行链路通信,以及多点协作通信。现有文献有的只研究了发送端或者接收端的处理矩阵的设计,不能充分挖掘鲁棒收发联合设计的优势,有的只提出了复杂度较高的次优解法,不能适用于实际系统。为了降低求解难度,并为更一般系统的收发研究提供参考,论文首先对多天线系统的基本单元,点对点多天线系统进行了讨论。论文的第三章研究了在收发两端都具有不完全CSI的鲁棒设计,证明了在最小化系统均方误差的准则下,多个数据流应沿信道的特征方向上依次进行发送,从而将矩阵设计问题转化为各个无干扰子信道的功率分配问题。利用变量替换,本文证明功率分配问题实质为凸问题,从而可以求得最优解。仿真结果表明最优解的性能优于现有算法。另一方面,为了在较低接入成本下增大无线网络的覆盖范围,中继技术被引入到无线通信中,以实现较远距离的点对点通信。在考虑中继每根天根各自的功率约束时,收发联合设计问题变得更加复杂。论文的第四章探讨了单用户单中继系统的鲁棒性设计,推导得到了收发最优设计的半闭式解,并提出了求解相应变量的低复杂度算法。多个中继在通信网络中的使用,可以提高系统容量,增强覆盖面积。尤其在发射单数据流,以最大化接收信噪比为衡量准则的前提下,已有文献证明多中继的处理矩阵设计可以采用分布式计算实现最优性能,这为多中继在实际系统中的应用提供了理论基础。论文的第五章研究了单用户多中继系统,并推导了中继处理矩阵的最优结构,由此发现鲁棒设计与完全CSI情况下的最优设计具有相似的结构,只是在中继之间的使用功率大小上有所区别。其次,论文证明了求解发射处理向量的问题是单调优化问题,因此可以用已知算法求解全局最优解。仿真结果表明:鲁棒设计算法能大大降低系统性能对CSI误差的敏感度。对于多天线通信系统中的收发矩阵设计技术,本文提出了多种低复杂度算法及理论推导闭式解,提供了最优参考值,从而丰富了现有理论成果,对线性预编码/检测技术在实际系统中的应用具有重要的指导意义。