毫米波通信与大规模多输入多输出(Multiple Input Multiple Output,MIMO)作为5G通信的关键技术,理所当然地越来越受到学术界与工业界的关注。波长较短的毫米波通信有利于大规模天线阵列的分布,而大规模MIMO通过波束赋形提供高方向性波束可补偿毫米波信号的传输损耗,二者融合能有效提高系统性能。然而毫米波大规模MIMO系统易受环境等因素的影响,使得其比较适宜在视线(Line of Sight,LOS)环境中传播。故本文主要研究LOS环境下毫米波大规模MIMO系统的频谱效率。在LOS环境下首先研究了基站配置有均匀线性天线阵列并采用最大比传输方案时毫米波大规模MIMO下行多用户系统的可达频谱效率。分析了可达频谱效率的闭式表达式,提出了一种基于角度信息的用户调度方案。该方案可以使得用户间干扰减小为零,从而实现可达频谱效率的最优化,并且推导了最大可达频谱效率的闭式表达式。仿真结果表明,应用用户调度方案后,可达频谱效率有了大幅度的提高。为了提高通用性,本文又研究了均匀矩形天线阵列(Uniform Rectangular Planar Array,URPA)与均匀圆柱形天线阵列(Uniform Cylindrical Array,UCYA)这两种三维天线阵列,并同时考虑用户的方位角与仰角。并进一步研究了采用不等功率分配的功率注水算法对性能的影响。仿真结果表明,与等功率分配方案相比,不等功率分配方案对于系统频谱效率的提升是明显的;虽然URPA构型的峰值增益较大,但它的旁瓣太多,其性能反而是不如UCYA构型的。然后本文研究了单用户场景下的基于连续干扰消除(Successive Interference Can-cellation,SIC)的混合预编码优化算法。它使得对于频谱效率优化问题可以分解为一系列频谱效率优化问题,而且还研究了信道状态信息的准确性对于这一预编码算法的性能影响。仿真结果表明基于SIC的混合预编码算法不仅复杂度较低,而且具有可观的性能。随后研究了多用户场景下基于移相器的混合预编码,并推导了该方案的可达频谱效率的上界,针对射频(Radio Frequency,RF)链对于用户相位信息不能准确获取这一现实条件,提出了一种基于量化移相器的混合预编码方案。此外还考虑了一个实际的功耗模型,探讨了系统的可达能量效率并推导了其闭式表达式。仿真结果表明,与全数字方案相比,基于移相器的混合预编码具有更高的能量效率,且量化比特越高性能越好。并且还研究了多用户场景下基于块对角化(BD)的混合预编码,它考虑了接收端对于接收到信号的处理,其中数字预编码主要用来来消除用户之间的干扰,模拟预编码的目标为增大天线阵列增益。并且应用了一种考虑用户之间的公平性的功率注水算法来提高性能,仿真结果表明,基于BD的混合预编码可以接近传统数字预编码的性能。