随着移动终端能力的不断增强和移动互联网的快速普及,移动业务量的增长率远远超过空口速率提升幅度,有限的频谱带宽资源与迅猛增长的业务量需求成为移动通信发展过程中的主要矛盾。而无线多播作为一项能有效传播相同数据流的重要技术,被广泛应用于移动电视、视频会议和在线网络游戏等业务。由于无线信道的广播特性,无线多播允许对需求相同数据流的用户加入同一多播组,共享同一资源,既节约了系统资源,又提升了空口利用效率,但同时其系统性能往往受限于组内性能最差的用户。另外,由于无线信道的时变性,无线多播需要采用一些抗衰落技术来克服无线信道所带来的不良影响。因此,研究无线多播传输方法中的关键问题并设计实用有效的技术方案具有非常重要的意义。本文的研究内容集中在无线多播中三种可能的传输方式：单速率多播、多速率多播和混合单播多播,主要的研究成果及贡献如下：1.单速率多播：首先考虑时分双工(Time Division Duplexing, TDD)多播系统中存在信道估计误差时的波束成型设计问题。在保证用户的中断概率约束下最小化基站的发送功率,分别讨论了瞬时CSI(Channel State Information)和长时CSI下的波束成型设计方案,将包含高斯随机误差的中断概率约束进行等效近似,从而转化为可采用半正定松弛方法和秩一化算法近似求解的问题。仿真实验表明,所提算法能有效地提高系统鲁棒性能。然后考虑频分双工(Frequency Division Duplexing, FDD)多播系统中存在信道量化误差时的波束成型设计问题,分别讨论了单个多播组在瞬时CSI和长时CSI下的发送功率最小化问题和最大化最小QoS(Quality of Service)问题,通过将无限个不等式约束等效为有限个不等式约束,从而去掉错误边界误差,然后采用半正定松弛方法和秩一化算法近似求解。仿真实验说明了所提算法只额外消耗较少的功率,便能取得较好的鲁棒性能。系统地研究了不同场景下具有非完美CSI时的无线多播鲁棒性波束成型设计问题,为实际系统设计提供了有益的思路。2.多速率多播：为了克服单速率传输系统性能受限于最差用户性能的缺点,我们允许同个多播组内的用户能根据自身的处理能力来接收多播数据流,提出了一种基于叠加编码的多速率多播传输方案。首先考虑确定用户集合和目标多播速率下的发送功率最小化问题,提出了一种基于半正定松弛的解决算法。与此同时,我们给出了保证发送功率最小化问题永远具有秩1解的条件。然后考虑联合波束成型设计与层接入控制问题。首先,我们讨论了基础层的联合波束成型与接入控制问题,然后详细研究了单层增强层的情况,进而将其拓展至多层增强层的情况,并提出了对应的联合波束成型设计与层接入控制的传输方案,以确定给定各层速率下的最大可支持层数,各层服务用户集和波束成型矢量。为用户提供差异化的多播服务,保证信道较好用户的相对公平。为视频多播等多速率多播传输提供了基于叠加编码的传输方案,具有一定的指导意义。3.混合单播多播：针对传统单速率无线多播性能受限于最差信道用户,而不管信道条件较好的用户的额外处理能力的缺点,提出了一种为信道条件较好的用户提供额外单播服务的基于叠加编码的混合单播多播传输方法。首先,考虑确定用户集和目标速率的发送功率最小化问题,给出了求解算法,并得到保证问题有秩1解的条件。接着讨论了确定用户集和目标多(单)播速率下的最大单(多)播可达速率问题。最后考虑联合波束成型设计与层接入控制问题,提出了一种基于半正定松弛的收缩算法,同时,针对D-SDR算法提出了一种低复杂度且有效的算法改进。仿真表明,所提算法性能非常接近最优的遍历搜索算法,且具有可接受的复杂度。为信道较好的用户提供额外单播服务,可以提升用户吞吐量,保证其相对公平；针对基于时分复用的无线双向中继系统中单播阶段与多播阶段相互影响的缺点,我们根据不同的错误反馈机制,提出了三种为不同阶段提供可靠性保证的ARQ(Automatic Repeat-reQuest)协议。利用有限状态马尔科夫链将三种ARQ协议过程分解成离散状态,并对系统性能进行理论分析和仿真比较。仿真表明,所提协议能提高双向中继系统中端到端的吞吐量性能,其中RT-ARQ协议能获得更好的性能,尤其是在低传输速率时,能极好地接近性能上界。