毫米波(Millimeter Wave,mmWave)通信系统因其频谱资源丰富、高速率、高安全性等优势正成为广泛研究的课题。毫米波无线通信的高路径损耗决定了其需要使用波束成形技术用以补偿传播损耗,改善链路质量。基站端配备阵列天线,通过波束成形技术生成多个指向性的波束同时为多个用户提供服务,可以充分利用毫米波空域波束资源,有效提高系统频谱效率。但是波束之间往往存在重叠覆盖的情况,高增益的波束存在波束间干扰。多个波束如何通过协调与配合,减小波束干扰成为影响系统性能的一个重要因素。因此,本文重点研究毫米波系统波束协作技术,从波束选择和波束调度两个方面展开深入研究,提高系统性能。首先研究了毫米波波束成形关键技术,阐述了毫米波传输特性以及描述毫米波特性的信道模型,在研究均匀直线天线阵列产生波束原理的基础上,仿真分析了基于码本的波束成形和自适应波束成形的误码率性能。当基站配备大规模天线,码本集合足够大时,基于码本的波束成形性能接近于自适应波束成形,同时由于实现简单,基于码本的波束成形得到了广泛应用。在单小区场景中,基站通过波束选择算法为用户选择合适的服务波束,减小波束间干扰,达到波束协作的目的。因此,快速准确的波束选择算法成为影响系统性能的关键因素。本文在分析对比了最大能量波束选择算法和干扰感知波束选择算法的前提下,提出了干扰最小波束选择算法。该算法利用波束空间的稀疏性,使用波束空间信噪比来衡量波束服务能力,所选择的波束能够提供较好的服务,同时降低对其它用户的干扰。仿真实验表明,低复杂度的干扰最小波束选择算法可以在保证系统性能的前提下,大大降低了算法时间复杂度,尤其在用户数较多的场景下具有更高的频谱效率。针对多小区毫米波通信系统,波束间干扰复杂,由同小区波束干扰和相邻小区波束干扰两部分组成,因此采用波束协作调度来实现波束协作,提高系统性能。中央控制器依据用户端反馈的信息进行波束协作调度,每个时隙调度相互间干扰小的波束,将干扰严重的波束分散在不同的调度时隙。任一基站端调度的波束都会影响波束间的干扰分布,通过建立干扰模型,提出基于用户分类的波束调度算法。以用户对不同波束的响应作为波束调度的先验信息,通过用户分类为不同类型的用户选择相应的传输模式,同时将强干扰的波束在不同时隙调度,相同时隙波束以容量最大化准则完成调度。仿真分析表明,所提出的波束调度算法,在相同条件下,能够获得较高的吞吐量。