毫米波是指频率范围在30GHz到300GHz之间的电磁波,具有波长短、频率高、可形成的波束窄、方向性好等特点,因此毫米波系统适合与大规模天线阵列技术相结合,这已经成为新一代5G通信系统的研究热点。与微波相比,毫米波信号在大气传播中的衰减急剧增加,可利用大规模天线阵列形成高增益的定向窄波束来弥补路径损耗,保证通信的可靠性。传统的数字波束成形结构由于超高的硬件复杂度,无法直接应用到毫米波系统中,因此本文主要采用数字模拟混合波束成形,并重点关注射频端模拟波束成形的实现。基于波束码本的模拟波束成形技术由于实现简单而得到广泛应用,多个射频链路的波束搜索问题也逐渐受到关注,毫米波通信需要一种快速有效的搜索算法来解决收发两端的波束对准问题。与此同时,如何有效利用毫米波系统中的空间资源也成为现阶段的研究热点。本文主要研究单用户场景下的多射频链路的联合波束搜索问题,以及多用户场景下的多波束调度问题。首先阐述了毫米波系统结构及波束成形关键技术,针对毫米波系统混合波束成形结构中的多链路波束搜索问题,研究了利用均匀线性阵列产生波束的原理,探讨了基于SVD的波束成形算法、全遍历算法和波束选择准则。对于多流数据传输,结合有关毫米波信道模型的理论分析,提出了通过单个链路进行遍历搜索及迭代的方式。仿真实验表明,低复杂度的启发式波束搜索算法可以在基本保证搜索准确率的前提下,大大降低了算法时间复杂度,具有良好的频谱效率。针对毫米波通信系统中的多波束调度问题,依据用户端反馈的最大信干噪比及波束序号进行波束和用户的选择。在基站端波束个数及小区用户数均明显大于系统射频链路数的情况下,通过对等间隔波束分组策略以及波束间干扰对系统性能影响的分析,从而提出了一种改进的基于相邻波束分组的多波束调度策略。在保证波束间干扰较小的情况下,增大了不同波束间组合的可能性,充分利用了现有的射频链路个数,避免了硬件资源浪费,同时提高了频谱效率。仿真实验表明,改进的多波束调度策略,在不同信噪比、多径数及总用户数的情况下,均比基于等间隔波束分组的策略具有更优的频谱效率。