随着智能终端的普及,无线数据业务量呈指数级增长,下一代无线通信系统需要具备更快的信息传输速率,更高的能源利用效率,更强的异构网融合能力等特征。在设计和优化这样的系统之前,首先需要对其信道传播特征、模型和仿真方法有更深入的认知和掌握,这也是本文研究工作的出发点。本文围绕着下一代无线通信系统的多天线信道建模和仿真技术研究展开,主要创新点如下：1)提出了一种新的信道多径参数估计方法。当前广泛应用的多径参数估计方法——空间交替期望最大化(SAGE)算法,存在运算量大和易收敛于局部最优等问题,尤其当测量中使用方向性天线阵列时,参数估计精度明显下降。本文在分析了测量天线阵列角度域估计性能的基础上,利用粒子群优化算法,改进了多径参数估计中最优解的求解过程,提出了迭代最小二乘——粒子群优化算法(ILS-PSO)。ILS-PSO在简化计算量和保证收敛到全局最优的同时,还支持多天线分组测量,以及各个分组间多径参数的联合估计,从而提高了算法在高速运动环境下的多径跟踪能力。通过数值仿真和实测数据分析,验证了ILS-PSO相较于SAGE算法,估计出的多径信息能够与实际传播环境更好的契合,而运算量仅为SAGE算法的1/4,且支持移动性信道多径参数的估计2)利用信道容量分析了大规模天线信道的信息承载能力。首先,定义了子空间紧致度来定量描述多天线(MIMO)信道容量和多径信道角域功率谱的关系,并给出了MIMO信道奇异值的上界与子空间紧致度的数学关系。基于此,以大规模天线阵列(Massive MIMO)系统为背景,考虑可使其容量最大化的“有利信道条件”(Favorable Propagation Condition),本文针对这一条件的存在性展开研究。基于一个简化的几何模型,本文在“用户聚集分布”场景下,从数学上推导出了“渐进有利信道条件”存在性的闭式表达式和近似表达式。通过数值仿真,验证了在天线维度较大时,所推导的表达式能够较好地逼近实际无线传播环境中的“有利信道条件”。这一结论可用于Massive MIMO系统中所需天线阵元数的估算。3)设计了一种信道差分量化方法,进一步,研究了多用户MIMO系统的功率分配算法。非相干网格解码量化算法(NTCQ)是一种Massive MIMO信道量化算法,它复杂度低,易于实现,但并未利用好Massive MIMO信道中较强的空时相关性。本文在其基础上,设计了一种差分量化方法,通过子空间旋转和自适应码本空间扭曲(Skewing),可动态跟踪空时相关性的变化,并针对信道状态信息(CSI)的更新部分进行量化,在保持复杂度不变的情况下进一步提高了量化效率。仿真结果表明,与NTCQ等算法相比,所提算法在Massive MIMO系统和普通多用户MIMO系统下,都能改善传输性能。在量化的发端CSI的基础上,本文进一步研究了多用户MIMO系统中,用户间干扰的强度,设计了一种可自收敛的功率分配算法,并给出了各个用户SINR的上界。通过数值仿真,本文给出了功率控制带来的误块率(BLER)的改善和系统容量的收益。4)研究了信道射频级仿真中的系统构架和关键技术。信道仿真仪是在实际无线收发设备的射频端口之间,模拟真实信道传播环境的专用射频仪表。本文先从总体上设计了信道仿真仪的系统结构和软件算法流程,进而,针对信道仿真仪的关键技术,给出了一些可行的技术方案。针对用于高精度信道时延模拟的分数阶延时滤波技术,本文基于Farrow结构设计了一种数字逻辑资源占用稳定,可灵活配置延时参数的实现方法,幅度误差和相位误差都可以控制在10-3量级。针对用于在全消声暗室中复现空间多径环境的MIMO空中测试(MIMO-OTA)技术,本文先是给出了一个精确的理想化方案,之后给出了一个低成本、可复现空间相关性的方案,即使用8阵元的暗室阵列近似复现2阵元终端测试所需的空间相关性,其模拟精度可以达到10-2量级。