在时分双工（Time-Division Duplexing,TDD）无线通信系统中,基站利用无线信道的互易性估计下行信道状态信息（Channel State Information,CSI）,以降低大规模天线系统获取CSI的开销。然而,实际估计的信道响应不仅包含了无线信道响应,还包含射频通道响应。由于收发射频通道使用不同的射频器件,其响应通常不对称,这会造成实际上下行信道的互易性失配。与之前的通信系统相比,第五代移动通信（5G）系统及未来移动通信系统中互易性失配将更为严重。一方面,毫米波通信技术的应用会导致射频器件的非理想性更为突出,进而导致更严重的射频通道非对称性;另一方面,为了降低大规模天线系统的功耗和部署成本,考虑采用低功耗、低成本的射频器件,从而导致射频通道更严重的非对称性。TDD模式的上下行信道互易性失配会造成系统性能急剧下降,因此研究互易性失配对5G及未来移动通信系统的研发和部署具有重要意义。本文关注TDD大规模天线系统中上下行信道的互易性失配,从射频响应特性、收发机结构以及通信系统结构三个角度出发,考虑大规模天线系统的非线性互易性失配、毫米波混合波束赋形系统的互易性失配、以及中继系统的互易失配,研究互易性失配的建模、影响及校准方法。具体而言,本文的主要研究内容分为如下三个部分。（1）研究大规模天线系统的非线性互易性失配。当考虑射频通道响应是发射信号的非线性函数,互易性失配系数也被建模成发射信号的非线性函数。为了研究非线性互易性失配对系统性能的影响,本文首先应用随机矩阵理论和大数定律推导出了迫零预编码的遍历可达速率闭式表达,并分别分析了基站和用户侧的非线性失配造成的系统性能损失。理论研究结果表明,基站侧的互易性失配会造成严重的系统性能下降,而用户侧的互易性失配对系统性能的影响相对轻微。因此,根据理论研究结果,本文进一步设计针对基站的非线性互易性失配校准方法,以减轻非线性互易性失配对系统性能的影响。在校准过程中,应用多项式拟合非线性失配系数关于发射信号的函数,将非线性函数表达式的获取转化成多项式系数的估计问题。而多项式系数可以根据天线之间的空中训练信号估计得到。最后,通过最大化下行遍历可达速率计算最优非线性互易性校准系数。（2）研究毫米波混合波束赋形系统中互易性失配的校准。混合波束赋形收发机的分层结构导致互易性失配由数字通道和模拟通道共同引起,并通过移相器网络耦合。为了降低混合波束赋形系统中互易性校准的开销和计算复杂度,本文利用移相器网络的全连接特性,通过设计波束赋形矩阵实现数字通道和模拟通道互易性校准的虚拟解耦。在解耦的基础上,混合波束赋形系统的互易性校准问题可以等效地分解为数字通道的互易性校准问题和模拟通道的互易性校准问题。数字通道的失配系数通过推导数字通道校准问题的闭式解获得,而模拟通道的失配系数可以通过求解模拟通道的校准问题的数值解得到。为了高效求解模拟通道校准问题,本文设计交替优化算法来联合估计模拟通道互易性失配系数和毫米波信道的参数。最后,通过推导互易性失配系数的克拉美罗下界研究互易性校准方法的性能,并发现失配系数的估计误差随着校准导频信号功率和长度的增长而减小。（3）研究多天线中继系统的互易性失配。中继系统由源、中继和目的节点组成,而这三类设备的射频通道非对称性都会导致信道的互易性失配。为了研究互易性失配对系统性能的影响,本文首先推导了中继采用迫零波束赋形时遍历可达速率的闭式表达,并分别分析了源、中继和目的节点侧互易性失配导致的系统性能损失。研究结果表明,中继侧的互易性失配会造成严重的系统性能下降,而源和目的侧互易性失配的影响相对轻微。为了缓解互易性失配对系统的影响,本文设计了针对中继节点互易性失配的校准方法。为了降低互易性校准的开销,校准过程分成中继节点自校准和中继节点互校准两个步骤。具体来说,各中继节点首先独立完成自校准,该过程不产生信道反馈开销。而中继节点的互校准则应用波束赋形技术和多节点并发技术,以避免反馈CSI同时提升校准信号的信噪比。最后,通过推导校准后中继系统遍历可达速率研究互易性校准的影响。理论和仿真结果表明,设计的互易性校准方法可以显著提升中继系统的性能。