随着现代无线通信技术和无线业务的不断发展,无线通信系统的用户数目以及服务需求迅猛增长。然而,无线通信系统中可用的频谱资源却非常有限。用户服务需求与频谱资源之间日益突出的矛盾,促使人们研究和发展高频谱利用率的传输技术。在这种背景下,无线物理层多播技术应运而生。无线物理层多播是指利用无线信道的广播特性,由源节点使用同一无线资源将相同信息同时传递给多个目的节点的传输方式。相对于传统的点对点传输方式,物理层多播技术大大节约了传输资源,因此它有效地提高了系统的吞吐量和频率效率,近年来,逐渐引起了学术界和工业界的普遍关注。在采用多天线技术的无线通信系统中,当发送端和接收端都已知信道状态信息时,预编码能够提高物理层多播系统的频谱效率和链路传输可靠性。因此,本文主要研究无线物理层多播系统中的预编码技术。首先,基于最大化最小用户信噪比准则,研究了支持单路数据流传输的多播波束赋形方法。然后,对于用户配备多根接收天线的情形,研究了支持双路数据流传输和多路数据流传输的多播预编码方法。本文的主要工作和贡献如下：1)针对无线物理层多播系统中的单路数据流传输问题,分别提出了适合于发送端配备两根发送天线和多于两根发送天线的波束赋形方法。当发送端配备两根天线时,通过刻画出用户的信噪比矢量的可行域,将复矢量优化问题转化成了一个实矢量优化问题,从而可以采用假设检验的方式搜索到全局最优的波束赋形矢量。与此同时,为了减小穷举搜索的复杂度,提出了一种高效的剪枝搜索算法,并给出了它的复杂度分析。当发送端配备多于两根天线时,提出了一种优化波束赋形矢量的迭代算法。在每一步迭代中,将原波束赋形矢量优化问题降维成一个两发送天线问题,从而可以利用剪枝搜索算法求解,最终获得接近最优的波束赋形矢量。仿真实验的结果表明,本文提出的波束赋形方法具有性能接近最优、且复杂度较低的特点。2)针对无线物理层多播系统中的双路数据流传输问题,分别提出了适合于迫零判决反馈均衡(ZF-DFE)接收机和最小均方误差判决反馈均衡(MMSE-DFE)接收机的高效预编码方法。对于多播用户采用ZF-DFE接收机的场景,为保证所有数据流的接收质量,采用最大化所有用户的数据流的最小信噪比准则设计酉预编码矩阵。通过刻画出两个数据流的信噪比矢量的可行域和相互关系,将矩阵优化问题转化成了一个实矢量优化问题,并且采用梯度迭代算法获得酉预编码矩阵。对于多播用户采用MMSE-DFE接收机的场景,采用最大化所有用户的数据流的最小信干噪比准则设计预编码矩阵。在这个问题中,预编码矩阵可写成转换矩阵和旋转矩阵的乘积。因此,该问题可分成两步进行处理。首先,基于最大化多播信道的可达速率这一准则,求出对应的转换矩阵。然后,在给定转换矩阵后,采用基于梯度更新的迭代算法求解旋转矩阵。特别的,对于两个用户的特殊场景,可以利用两个数据流的信干噪比特性直接构造出旋转矩阵。理论分析和仿真实验证实了所提出的预编码方法不仅实现了较优的多播可达速率,而且其误符号率低于现有的方法。3)针对无线物理层多播系统中的多路数据流传输问题,分别提出了适合于平坦衰落多播信道的酉预编码方法和适合于频率选择性衰落多播信道的FIR预编码方法。对于平坦衰落的多播信道,研究了基于最大化所有用户的数据流的最小信噪比准则的酉预编码设计问题。基于这个问题的特殊结构,采用Givens旋转的方式迭代更新酉预编码矩阵。在每一步迭代中,将多路数据流传输问题转化成双路数据流传输问题,从而可以利用双路数据流时的算法进行求解,最后获得接近最优的酉预编码矩阵。对于频率选择性衰落的多播信道,为最大化多播系统的可达速率以及减小群延时效应,提出了一种最小相位FIR预编码方法。该方法分成两个步骤,首先,在最大化可达速率准则下,通过时域和频域两种设计方法获得非最小相位FIR预编码器；然后,基于谱分解理论,将非最小相位FIR预编码器转换成最小相位FIR预编码器。仿真结果表明,相比现有的多路数据流多播预编码方法,本文的预编码方法具有误符号率低,多播可达速率接近最优的特点。