现今的移动通信网络中,多制式,多小区,多用户并行通信,伴随新技术的出现,系统传输模型已经由原来的单源单宿(点对点传输),单源多宿(多播或广播系统)向协作式通信的多源单宿(如协作中继通信,中继节点作为转发源),多源多宿(如多小区多用户协作传输,X信道)场景变化。新的场景下多源协作传输可以有效地获取空间分集增益(如协作中继技术)及空间复用增益(干扰对齐技术),因此多源多宿场景下的波束赋形相关技术研究(包含收发机的联合设计)就成为需要解决的关键问题。本文依次展开多源单宿场景及多源多宿场景下的研究,多源单宿场景中,本文以协作中继通信作为典型研究内容,中继节点作为转发源向信宿转发信源信号。多源多宿场景下干扰协调是需要解决的主要问题,基于干扰对齐技术进行研究。本文进行了四种通信场景下的研究,通信场景由简到繁,针对不同场景下现有研究存在的问题,提出新的算法进行收发机的联合设计,主要研究内容如下：(1)研究了单用户双跳MIMO放大转发中继系统优化设计,提出了两种迭代优化算法,在信号模型中同时考虑了源端到目的端直接链路的影响与信道测量误差的影响,理论推导了该条件下发端发送矩阵及中继转发矩阵的解析结构,以MMSE准则为设计准则,进行优化问题建模,通过将非凸优化问题转化为凸的子问题,使用迭代算法进行求解,并进行了算法收敛性与复杂度的分析,最终实现了源端发送矩阵,中继端转发矩阵,目的端接收矩阵的联合优化。仿真结果表明在不同的直接链路信号强度和不同的信道测量误差下,所提算法性能均优于现有算法。(2)研究了多用户双跳MIMO放大转发中继系统的优化设计。多用户中继通信场景广泛存在,现有的多用户场景下的多数研究忽视了直接链路信号的影响。本章所提算法考虑了源端到目的端直接链路信号的有效利用,可以在基本不增加算法复杂度的条件下,获得额外的空间分集增益,从而有效提高系统性能。本章理论推导了在考虑直接链路下多用户双跳MIMO放大转发中继系统中的最佳中继转发矩阵与源端发送矩阵。理论推导表明无论直接链路信号的强弱,所提算法均可以为MSE的降低提供正增益。仿真结果表明所提算法的MSE性能与BER性能均优于现有算法。(3)研究了一种机会性调度算法来实现两个发送端,两个目的端的x信道下盲干扰对齐,通过在信道资源和用户资源两个层面的调度来获得自由度增益。将问题建模为一个线性整数规划问题,通过对这一问题的求解来获得简单可行的调度方法,并证明了这一方法的可行性。所有的用户都可以参与构成一个2用户2×1的盲干扰对齐对,进行完全盲干扰对齐或者部分盲干扰对齐。在用户对之间进行轮询调度,每个用户具有相同的传输机会。我们给出了算法的可达自由度期望,当K≥10时,对于K用户2×1X信道或广播信道,系统可达自由度可以逼近4/3。(4)研究了多小区多用户上行传输场景下的迭代收发机设计与用户联合调度的机会干扰对齐算法,相对于传统的机会干扰对齐算法进一步挖掘了多用户分集增益。所提算法以最大化小区和速率为目标,显著提高了中低信噪比下干扰对齐的和速率性能。所提的基于SLNR-SINR的双准则迭代算法,迭代中联合优化发端的波束赋形向量,收端接收矩阵以及服务用户集。尽管迭代操作增加了算法的计算复杂度,由于每次迭代产生的新的波束赋形向量,接收矩阵及用户集都可以在下次传输中使用,迭代过程可以在线进行。仿真结果表明所提算法相对于传统算法可以获得明显的和速率提升。