由于毫米波频谱资源非常丰富,可实现极高的数据传输速率,毫米波通信成为学术界与工业界的研究热点。但是,毫米波的频率极高,相应的路径损耗也更大,为了补偿路径损耗,需要采用大规模天线阵列,而大规模天线阵列的采用给毫米波波束训练、波束设计及预编码设计等带来一系列挑战。本论文深入研究了“毫米波MIMO通信中波束训练与预编码优化设计”这一课题,针对毫米波波束训练、高功效通用波束设计及毫米波预编码等问题,在充分考虑毫米波通信特点的基础上,研究了毫米波波束训练及性能分析、毫米波波束优化设计及毫米波高效传输方案设计。本论文研究的内容包括毫米波波束对齐训练码书设计及波束对齐性能分析、高功效数字波束设计及模拟-数字混合波束设计、恒包络预编码与天线子集选择、毫米波宽带模拟-数字混合预编码及毫米波定向预编码等。具体研究内容和主要贡献如下:1.波束训练是获取毫米波信道状态信息行之有效且已被标准采纳的方法,针对传统毫米波训练波束主瓣与旁瓣内波动较大且过渡带较宽等缺点,从波束形状/波束方向图逼近的角度提出了一种新的训练波束/码书设计方法,新的波束设计方法将波束设计问题建模为优化问题,并将主瓣及旁瓣内的波动要求引入到优化问题的约束中,因此能够设计具有任意波束宽度的训练波束,且设计的波束过渡带非常窄且主瓣与旁瓣内的波动非常小。为了解决分层波束搜索中的错误传播问题,以获得一致的波束对齐性能,提出了过渡带覆盖的思想,并据此提出了一种新的分层码书结构。为了导出设计的波束训练码书与可达波束对齐性能之间的关系,针对恒定路径增益信道及衰落路径增益信道两种情形,推导了波束对齐误对齐概率上界及近似表达式。基于导出的误对齐概率表达式,提出了新的低复杂度的训练功率分配策略,以进一步提高波束对齐的性能。通过数值仿真,全面地验证了提出的算法的有效性与优越性。2.对于毫米波大规模天线阵列系统,设计波束时不仅需要考虑所设计波束的波束性质,还需要考虑所设计波束的功效性质及采用的天线阵列架构。为了提高功放的功率效率,针对全数字阵列架构和模拟-数字混合阵列架构,提出了序贯外逼近思想并据此设计了高功效的通用波束设计方法。针对全数字阵列架构,提出了一种高功效数字波束设计方法。由于相应的优化问题包括两类约束,即波束性质约束与功效约束,且每一种约束的数量均非常大,因此即使寻找初始可行解都很困难。为了寻找有效的初始可行解,提出了从外部连续逼近可行域的思想,并据此设计了序贯搜索可行解的方法,同时从理论上严格证明了提出的序贯外逼近方法的有效性。为了使得设计的数字波束能够适用于混合阵列架构,提出了模拟-数字混合映射算法。为了进一步提高波束性质,针对混合天线阵列架构,基于提出的高功效数字波束设计方法,提出了高功效模拟-数字混合波束直接设计方法。在直接设计方法中,由于将相移器有限分辨特性直接考虑进了波束优化过程中,不仅无需执行模拟-数字混合映射,而且对于低分辨率相移器,也能获得很好的波束性质。通过数值仿真实验,进一步验证了提出的波束设计算法的有效性及优越性,即有效地降低了峰均比因而提高了功效,而且即使对于低分辨率相移器,设计的波束也具有很好的波束性质。3.当获取信道状态信息后,需设计高效的信息传输方案,以进一步提升系统的性能。对于大规模多天线系统,设计预编码时仍需要考虑功效问题。恒包络预编码能有效地降低峰均比因而提高功效,但是恒包络预编码是非性线且非凸的,计算复杂度高且难于获得全局最优解。为了降低恒包络预编码的计算复杂度并获得全局最优解,针对大规模多天线系统中的恒包络预编码问题,从新的几何观点出发将其转化为复平面上的多边形构造问题。为了最小化恒包络预编码算法的复杂度,进一步揭示了恒包络预编码算法与三角形构造的可行性和等价性。基于三角形构造,提出了具有线性复杂度的最优恒包络预编码算法。为了减小总的发送功率并提高功效,考虑恒包络预编码与天线子集选择联合设计。首先从几何角度分析并比较了两种天线子集选择设计理念,证明了面向符号的天线子集选择在最小化总的发送功率及提高鲁棒性方面更有优势。为了在保证Qo S约束的同时最小化总的发送功率,提出了一种新的天线子集选择算法。无论对于精确或不精确信道,提出的天线子集选择算法保证找出全局最优天线子集选择解。不仅如此,提出的天线子集选择算法只需要使用加法和比较操作即可实现,在最差情形下算法的复杂度关于天线数是至多二次的。通过数值仿真实验,验证了提出的预编码算法与天线子集选择算法的有效性与优越性。4.毫米波通信的优势之一在于信号的带宽极宽,因此通过宽带预编码设计可以极大地提高数据传输速率。针对基于OFDM(正交频分复用)的宽带毫米波通信系统中的模拟-数字混合预编码问题,提出了联合优化每个子载波上的数字预编码器及整个频带上的模拟预编码器的混合预编码算法。由于数字预编码器和模拟预编码器相互耦合(模拟预编码器适用于整个频带而每个数字预编码器仅适用于单个子带),并且模拟预编码器的相移器的分辨率是有限的,因此相应的预编码器优化问题非常具有挑战性。为了实现模拟预编码器与数字预编码器的解耦,引入新的优化变量及等式约束并使用罚函数方法处理引入的等式约束,将其转化为高维但可分解的优化问题,最后通过块坐标下降方法迭代求解转化后的优化问题。在一定的约束规格下,证明了提出的混合预编码算法收敛到原优化问题的稳定点。通过简单地修改算法,提出的模拟-数字混合预编码算法也适用于相移器分辨率有限的情形。通过数值仿真实验,进一步验证了提出的预编码算法的有效性及优越性,即使当相移器分辨率有限时也能获得很好的性能。5.由于毫米波信道具有稀疏性及方向性,通过方向性预编码设计可以提高系统的安全性能。针对毫米波多用户通信系统,研究了在严格的每天线恒包络约束下,通过方向性预编码设计提高毫米波系统的安全性能。首先,针对子连接模拟-数字混合天线阵列架构,从提高系统功效的角度,基于恒包络预编码提出了统一的预编码框架。基本思想是保证合法/目标用户的接收星座图,而最小化泄漏给潜在窃听者信号的功率。提出的方向性预编码框架不仅适用于单径毫米波信道,也适用于多径毫米波信道。其次,由于模拟预编码器与数字预编码器相互耦合、相移器具有恒模约束且分辨率有限以及子阵选择引入的0-1约束等,相应的预编码器优化问题非常困难,为此提出了使用罚函数及块坐标下降方法求解相应优化问题。再次,针对两种典型的毫米波天线阵列架构,即多子阵天线阵列架构与开关相控阵天线阵列架构,提供了详细的算法分析与设计过程。具体地,对于多子阵架构的恒包络预编码优化问题,首先分析了优化问题的可行性条件,然后基于增广拉阁朗日罚函数方法及块坐标下降方法提出了迭代求解算法。针对开关相控阵天线阵列架构,基于精确绝对值罚函数方法、增广拉阁朗日罚函数方法及块坐标下降方法提出了有效的迭代算法。通过数值仿真实验,进一步验证了提出的算法的有效性及优越性,即在提高功效的同时也能获得更好的安全速率性能。