国际标准化组织第三代合作伙伴计划（The 3rd Generation Partnership Project,3GPP）定义了第五代移动网络（The 5th Generation Mobile Networks,5G）的三大应用场景,其中增强型移动宽带（Enhance Mobile Broadband,e MBB）场景对应大流量移动宽带业务。毫米波（Millimeter Wave,mm Wave）和大规模多输入多输出（Massive Multiple-Input-Multiple-Output,Massive MIMO）技术奠定了超高速数据传输的基础,是实现e MBB的重要支撑技术。在毫米波Massive MIMO系统中,低复杂度的下行多用户干扰控制是十分重要的研究方向。混合预编码技术能够减小工作射频链路的数量,兼顾复杂度和性能,获得了广泛的关注。目前围绕混合预编码技术的研究,主要考虑模拟域固定阵列结构和恒模限制,并没有充分考虑阵列结构以及模拟器件的非理想特性,这影响了混合预编码的综合评价和性能提升。为了解决上述问题,本文基于动态阵列和模拟器件插入损耗的天线阵列系统,考虑集中式和分布式两种场景,设计并分析了信道估计方案以及混合预编码方案,具体分成以下三方面。首先,针对天线阵列系统建模与设计问题,提出了基于动态阵列和模拟器件插入损耗的天线阵列系统,结合信号传输模型,分析了性能平衡性,解决了系统性能增益的论证问题。此外,考虑速度服务比率,提出了一种分布式毫米波Massive MIMO系统的架构和传输协议,解决了提升用户速率的系统设计问题。其次,针对信道估计问题,基于动态阵列和模拟器件插入损耗的天线阵列系统,分析了信道估计传输模型,提出了利用系统性能平衡性的多簇分量信息估计方案,有效提高了平均检测概率,解决了集中式场景中高精度信道估计问题;提出了利用位置信息的波束状态信息估计方案,避免了估计复杂度随分布阵列数量的增加而增加,解决了分布式场景中高效率信道估计问题。仿真结果验证了两种方案的有效性。最后,针对混合预编码方案设计问题,基于动态阵列和插入损耗的天线阵列系统,兼顾用户最低速率需求和能耗约束,分别建模了集中式和分布式场景下的最小均方误差（Minimum Mean Square Error,MMSE）混合预编码设计问题。考虑总能耗约束,结合系统性能平衡性,提出了集中式场景下的两种混合预编码方案,分别是解耦求解混合预编码方案,以及更高复杂度且更高性能的联合求解混合预编码方案,提升了误比特率与和速率性能。分析了所提混合预编码方案的平均误比特率,平均和速率,复杂度,以及多簇分量信息估计误差对所提方案信干噪比的影响。考虑单能耗约束,结合系统性能平衡性,提出了分布式场景下利用宏分集差异性的混合预编码方案,提升了系统性能,分析了复杂度和波束状态信息估计误差的影响。考虑所提分布式系统的空间特点,提出对角化的简化最小均方误差混合预编码方案,解决了分布式场景中混合预编码方案的复杂度高且对波束状态信息需求量大的问题,并分析了复杂度和波束状态信息估计误差的影响。仿真结果显示,在高信干比区域内,对角化的简化方案可以获得接近于利用宏分集差异性方案的性能,且对波束状态信息估计误差不敏感。