近年来随着信息技术的飞速发展,雷达和无线通信这两种感知信息和传递信息的技术被更加广泛地应用到各种新兴场景中,如智能交通、智慧工业等。两种技术的大量新兴应用使得无线电频谱资源日益紧张,设备需求也在急速扩张,将带来很高的成本开销。面对这些挑战,能够实现雷达和无线通信硬件平台共用、频谱资源共享和双功能协同的雷达通信一体化（Dual-functional radar communication,DFRC）系统开始受到了关注。同时,人们对更高频段和更大规模天线阵列的追求,与对更低硬件成本和功耗开销的需求,促进了混合波束赋形技术的发展与应用。混合波束赋形技术可以被进一步应用到DFRC系统中,以同时实现系统的雷达目标检测与用户通信功能,并能在雷达和通信性能间进行权衡。综上,本文以信干噪比（Signal to interference plus noise ratio,SINR）作为衡量雷达和通信性能的指标,研究雷达通信一体化系统的混合波束赋形设计问题。本文的主要研究内容如下:（1）在全精度移相器条件下,提出一种DFRC系统的混合波束赋形设计,通过最大化雷达接收机平均SINR的同时满足每个通信用户的SINR阈值约束,权衡雷达和通信性能。针对混合波束赋形问题中数字和模拟部分的耦合,以及问题本身存在的非凸非线性,本文基于交替迭代优化方案,采用半正定松弛和可行点追踪连续凸逼近的序列迭代算法,分别对数字和模拟波束赋形设计问题进行求解。仿真结果验证了雷达与通信系统之间存在性能上的折中,并表明所提出的交替迭代算法的性能接近于全数字波束赋形下的最优性能。（2）针对实际工程应用对更低的硬件成本和低算法复杂度的需求,研究了 2比特分辨率移相器下的低复杂度DFRC系统混合波束赋形设计方案。论文首先提出了一种基于码本的邻近搜索方案,该方案虽然性能较好,但数字和模拟部分的耦合使得时间复杂度仍然较高。之后提出了 2比特移相器下的低复杂度模拟波束赋形算法,使用解耦数字和模拟部分的设计,进一步降低了时间复杂度。此外,针对通信SINR阈值约束给问题带来的无可行解情况,论文建模了基于SINR惩罚软约束的数字波束赋形设计问题,并使用更快速的共轭梯度下降法进行求解。仿真实验表明,所提出的低复杂度混合波束赋形设计方案虽然具有一定的性能损失,但时间复杂度也得到显著降低。