近年来,移动通信技术的飞速发展,给人们的生活带来了极大的便利。与此同时,人们对未来移动通信服务也提出了更高的要求。但是无线通信系统也面临着诸多严峻的挑战,当前系统的性能距离理论上的香农限并不远,同时还面临着微波频段频谱资源短缺、导频污染等问题。考虑在有限的频谱范围内提高信息传输效率,已经不再是首选的方案。频谱资源丰富的毫米波频段成为新的选择。由于毫米波信道环境恶劣,而大规模天线阵列可以提供较大的天线增益,补偿毫米波传播的路径损耗,因此毫米波技术和大规模MIMO技术的整合成为5G通信技术研究的热点。为了抑制导频污染和干扰的影响,在MIMO系统中应用预编码技术成为了关键。传统的全数字预编码技术,由于功耗和复杂性问题,并不适用于毫米波大规模MIMO系统。作为一种折中的方案,有着较低复杂度和较高性能的混合预编码方案引起了广泛的关注。本文研究多用户毫米波MIMO系统的混合模数预编码器和模拟合并器设计。针对因信号传播漫散射造成的多用户间信号干扰问题,提出一种基于连续干扰消除(SIC)的鲁棒混合预编码算法。首先对信道矩阵进行正交分解,以消除来自已知用户信号的干扰,从而将含有非凸约束的多用户链路优化问题分解为多个单用户链路优化问题。然后采用相位提取算法逐个求解每个用户的最优传输链路,并结合最小均方误差(MMSE)准则求得多用户混合预编码矩阵。仿真结果表明,与现有的混合预编码算法相比,所提算法在强干扰环境下具有显著的性能优势。然后研究了模拟预编码器的量化问题。基于功耗和复杂性考虑,模拟预编码器在具体实现时一般由移相器组成。有研究表明,如果模拟预编码器的每个系数都使用两个移相器实现,混合预编码可以获得完全的多路复用增益。在本文中,我们提出并比较了移相器两种可能的组合结构以及相应的量化方案,每个系数变量都使用两个移相器实现。不考虑量化时,这两种结构表现出相同的性能。考虑量化时,又有着不同的性能表现。仿真结果表明,对于3比特量化的模拟预编码器,其性能接近无约束时系统的性能。在相同的量化性能表现情况下,这两种结构相比于每个系数使用单移相器实现的结构,需要更少的RF链和更低的量化分辨率。