与单播通信相比,组播通信有着低时延、高效率等优点,因此在日常的生活和工作中被广泛使用。随着组播技术的应用与发展,对组播系统安全性能的提升已经成为了目前的研究重点。在组播系统中,由于无密钥的物理层安全不需要用户之间通过多次交互来进行复杂的认证和密钥管理等工作,有着低复杂度、低时延等诸多优势,因此将其作为传统安全技术的补充或者代替机制来研究是具有重要意义的。本文基于无密钥物理层安全的角度,从信号处理与信道编码这两个方向分别对组播系统的信息安全传输技术进行了研究,具体工作如下。本文首先对物理层安全的部分理论知识、主要安全技术以及相应的安全评价标准进行了研究与分析,为后续研究组播系统中的信息安全传输技术提供理论支撑。然后,从信号处理的方向研究了多小区组播系统的下行链路安全传输问题。在多个蜂窝小区复用相同的频段,并且本地小区中存在窃听用户的情况下,提出了一种多小区协作组播通信的波束赋形方法。该方法通过各个小区基站之间协作波束赋形使小区之间的干扰相互抑制,并且使干扰较大的波束尽量避开合法用户,从而提高该组播系统的安全容量,达到最大化本地小区的安全速率与邻居小区的组播速率的目的。最后通过仿真验证了所提算法的有效性。最后,从信道编码的角度出发,研究了组播系统中的安全信道编码方案。由于在系统安全容量不为零的情况下,安全间隙越小,越容易实现信息的安全传输。因此,本文在目前使用最多的扰乱矩阵技术的基础上提出了基于部分信息耦合扰乱编码技术来进一步地降低安全间隙,提高组播系统的安全性能。并且通过仿真证明了所提的编码调制方案能够在扰乱矩阵技术的基础上将安全间隙降低14.59%。最后又在所提方案的基础上提出了两点改进措施,进一步降低了安全间隙,增强了系统的安全性能。