大规模多输入多输出（Multiple Input Multiple Output,MIMO）技术和毫米波通信技术作为新一代移动通信的关键技术,利用大规模天线阵列的复用增益和毫米波丰富的频谱资源,能够有效提升系统容量,实现超高速率、超低时延的数据传输。大规模MIMO技术与毫米波通信技术的结合,不仅能够克服毫米波高路径损耗的缺点,而且能够降低大规模天线阵列集成的难度。此外,与传统数字预编码和模拟波束赋形相比,混合预编码能够将系统性能与成本进行折中,从而成为毫米波大规模MIMO系统信息预处理的主要技术。本文具体研究内容和创新点如下:首先,研究了毫米波大规模MIMO系统传输模型和信道模型。针对毫米波传输路径损耗大以及视距传播等特点,采用基于扩展Saleh-Valenzuela模型的窄带簇信道模型。根据混合预编码技术的信号处理过程,建立全连接型和部分连接型系统架构,并以系统频谱效率作为优化目标,明确混合预编码器和组合器的设计问题。其次,研究了基于正交匹配追踪（Orthogonal Matching Pursuit,OMP）的混合预编码算法。根据毫米波的稀疏特性,该算法将稀疏重构作为混合预编码的理论基础,在依赖于信道估计的情况下能够实现较好的性能,但存在矩阵求逆过程,硬件难以实现。针对该问题本文提出了基于施密特正交化的正交匹配追踪（Schmidt Orthogonalization-OMP,SM-OMP）算法和基于部分连接型系统架构的正交匹配追踪（Partially Connected-OMP,PC-OMP）算法,避免矩阵求逆从而降低算法复杂度。最后,研究了基于交替最小化（Alternating Minimization,Alt Min）的混合预编码算法,包括基于流形优化的交替最小化（Manifold Optimization-Alt Min,MOAlt Min）算法和基于凸松弛的交替最小化（Convex Optimization Relaxation-Alt Min,CVXR-Alt Min）算法。该类算法在不依赖于信道估计的条件下直接实现优化目标,近似完美逼近最优全数字预编码算法。其中,MO-Alt Min算法利用共轭梯度下降法进行优化设计,所涉及迭代次数较高。针对该问题本文提出了基于拟牛顿法的流形优化交替最小化（Quasi Newton MO-Alt Min,QN-MO-Alt Min）算法,从迭代次数角度降低算法复杂度。另外,CVXR-Alt Min算法利用凸松弛和最小二乘法对预编码矩阵进行求解,涉及矩阵求逆过程。针对该问题本文提出了基于矩阵乘法分解的凸松弛交替最小化（Matrix Multiplication Decomposition-CVXR-Alt Min,MMDCVXR-Alt Min）算法,将目标问题分解以避免矩阵求逆,从而降低算法复杂度。