近年来,随着通信技术的蓬勃发展以及信息服务的不断丰富,人们对于通信的需求量也在日益提高。现有的通信基础已经无法满足未来高吞吐量的需求,为了应对该问题,人们将目光放到高频段的毫米波上。毫米波通信与第四代(4G,Forth-Generation)蜂窝系统或WiFi相比有着更多的可用频段,从而存在更高的潜在传输容量。然而毫米波通信也有着诸多不利因素,如路径损耗大、系统复杂度高,这限制了其推广。针对毫米波全双工多输入多输出(MIMO,Multi-Input Multi-Output)通信系统中传输速率问题,本文提出了有效的优化算法,以提高系统的传输速率。本文首先介绍了研究背景和毫米波网络的特点,然后介绍了 MIMO通信系统的一些关键技术,包括波束赋形和预编码技术、全双工和中继技术的发展和研究现状。接着介绍了常用的优化理论及算法,为后续的算法设计提供理论基础。通过联合波束赋形和预编码技术、全双工和中继技术,我们为毫米波全双工MIMO系统提出了具体的设计方案以提高系统的传输速率。针对存在信道状态信息(CSI,Channel State Information)误差的毫米波全双工中继系统,本文以最大化用户的总传输速率为目标,提出了混合波束赋形矩阵的联合设计方法。特别考虑了基站和中继的发射功率约束、中继自干扰残差约束、每个用户的服务质量约束和模拟波束赋形矩阵元素的恒模约束。由于该优化问题目标函数高度非线性、约束非凸且耦合,所以求解起来具有较大的挑战性。我们通过一系列变换将原问题转化为增广拉格朗日的形式,在此基础上,我们提出了一种基于惩罚对偶分解(PDD,Penalty Dual Decomposi-tion)技术的联合优化算法。这是一个双层迭代算法,算法外层迭代根据惩罚项函数值更新惩罚系数或对偶变量,算法内层迭代求解增广拉格朗日问题,该算法可以收敛到原优化问题的一组稳态解。我们还将算法推广到一个更实际的移相器分辨率有限的情况,设计了基于码本的优化算法。仿真结果表明,我们的算法明显优于非鲁棒性算法和传统的半双工算法,且可以有效抑制全双工中继自干扰。针对毫米波全双工多小区系统,本文考虑了两种不同的结构:(1)全连接结构;(2)子阵列结构。本文以最大化系统总速率为目标,在满足基站和上行用户能量约束,以及模拟波束赋形矩阵元素恒模约束的条件下,提出了考虑CSI误差的具有鲁棒性的波束赋形联合优化方法。该问题是非凸且非常难处理的,我们首先找到原问题的一个下界,通过最大化下界来近似CSI有误差情况下速率优化问题。然后我们将下界最大化问题转化为一个等价的加权最小均方误差问题,并通过引入一些辅助变量将其转化为增广拉格朗日的形式。我们同样采用了PDD框架设计算法,该算法可以收敛到一组稳态解。仿真结果表明,我们的算法可以有效抵御CSI误差的影响,并可以取得较好的速率性能。