在基站和用户端使用多个发射/接收天线可以显著提高系统的传输效率,包括频谱效率（Spectrum Efficiency,SE）和能量效率（Energy Efficiency,EE）,这种多天线通信技术也被称为多输入多输出（Multi-Input Multi-Output,MIMO）技术。MIMO技术以及其扩展的大规模MIMO技术已经被广泛应用于第四代移动通信（Fourth Generation,4G）和第五代移动通信（Fifth Generation,5G）网络的部署,基于大规模MIMO进一步扩展而来的无小区大规模MIMO和超大规模 MIMO（Extremely Large-Scale MIMO,XL-MIMO）也被视为第六代移动通信（Sixth Generation,6G）的使能技术。这些多天线通信技术大大推动了无线通信的发展。然而,在实际的多天线无线通信系统中,由于射频链路组件的非理想特性,系统实际的性能往往达不到预期,甚至大大受限。因此,评估实际的多天线通信系统中非理想硬件所带来的影响并进一步设计对应的优化方案具有十分重要的意义。本论文主要关注非理想硬件下多天线通信系统的性能分析以及对应的优化设计,考虑了包括大规模MIMO、无小区大规模MIMO以及XL-MIMO多天线通信系统模型,基于随机矩阵理论推导了系统的可达速率闭合表达式,分析了硬件的非理想性对于这些多天线通信系统性能的影响,设计了硬件损伤影响下的功率控制以及接收机优化方案,提升了硬件损伤影响下的系统性能。本文的主要贡献总结如下:1)研究了乘性相位噪声对具有非完善信道状态信息（Channel State Informa-tion,CSI）的上行单小区大规模 MIMO 系统的影响。首先,利用随机矩阵理论中的渐近谱分布理论分别推导了采用匹配滤波器（Matched Filter,MF）和最小均方误差（Minimum Mean Squared Error,MMSE）接收机下系统信干噪比（Signal-to-Interference-plus-Noise Ratio,SINR）的渐近等价表达式,在基站天线数有限情况下能够准确刻画系统的性能。该渐近等价表达式揭示了系统性能与相位噪声方差、基站天线以及振荡器数目等参数之间的关系。分析结果表明,系统性能随振荡器数目的增加而降低;此外,在相位噪声的影响下,MF接收机比MMSE接收机表现出更强的鲁棒性,但其和速率性能较低;由于相位噪声影响每个传输符号的相位,其变化远快于信道衰落,数据传输时间长度和可达和速率性能之间存在折中关系。综上,推导出的渐近表达式能够反映系统性能与各个系统参数之间的关系,为研究各参数对系统性能的影响以及后续的优化设计提供了有价值的见解。2)研究了乘性相位噪声对具有大量接入点（Access Point,AP）的无小区大规模MIMO系统性能的影响,提出了相位噪声鲁棒max-min功率控制方案。首先,对于下行传输和上行传输,利用随机矩阵理论中的确定性等价方法,分别推导了具有CSI和信道分布信息（Channel Distribution Information,CDI）的信号检测情况下,系统可达速率的闭合表达式。闭合形式的可达速率表达式为相位噪声对系统性能的影响提供了有效的评估。分析结果表明,相位噪声影响了期望信号的功率、波束形成不确定性增益以及由导频污染引起的用户间干扰增量。其次,分析了仅AP存在相位噪声和仅用户有相位噪声的两种特殊情况下系统可达速率表现情况。此外,还分析了在低信噪比和高信噪比情况下系统的性能。结果表明,用户端相位噪声对系统性能的影响要大于AP端的相位噪声,在高信噪比条件下,相位噪声是影响系统性能的主要因素,而在低信噪比条件下,相位噪声可以忽略不计。最后,本文提出了相位噪声鲁棒的max-min功率控制方案,以保证相位噪声影响下的系统性能。仿真结果验证了分析结果的准确性和所提出的相位噪声鲁棒功率控制方案的有效性。3)研究了加性硬件损伤和空间非平稳性对超大规模MIMO的联合影响,设计了低复杂度的硬件损伤鲁棒MMSE接收机。首先,针对超大规模MIMO系统,考虑空间非平稳性和加性硬件损伤的影响,推导了匹配滤波器接收机的闭合可达速率,通过闭合可达速率表达式,分析了空间非平稳性和硬件缺陷对系统性能的影响情况。然后,本文提出了一种硬件损伤鲁棒MMSE接收机,可以提升硬件损伤影响下XL-MIMO系统的性能。此外,基于阶梯Neumann级数近似进一步设计了低复杂度的硬件损伤鲁棒MMSE接收机,该接收机有效避免了矩阵求逆运算,大大降低了接收机计算复杂度。仿真结果验证了所推导的解析表达式的准确性和所提出的低复杂度的硬件损伤鲁棒MMSE接收机的有效性。