Massive MIMO全双工系统通过配置大规模天线阵列获得额外的空间复用增益与共用同一时频资源可极大提升系统的频谱效率与能量效率,成为5G的关键技术之一。但Massive MIMO全双工系统中存在的各种干扰严重影响着系统性能,尤其是因同时收发的结构而产生的自干扰是系统频谱效率降低的主要因素,因此研究有效的自干扰消除算法是非常必要的。论文课题来源于国家自然科学基金项目“基于相位噪声加性高斯化的全双工极化自干扰消除研究”(项目编号:61501050)与“基于认知与极化信号处理的功放节能研究”(项目编号:61271177)。针对Massive MIMO全双工系统中因天线数目巨大导致的自干扰信道瞬时信息难以获取与在自干扰消除过程中增长的天线数目与发送功率严重降低系统能效这两个问题,分别提出了基于耦合信道估计的自干扰消除算法与基于能效优化的自干扰消除算法,有效地进行了自干扰消除,并极大地提升了系统频谱效率与能量效率。本文主要研究内容如下:(1)论文总结和分析了 Massive MIMO全双工系统自干扰消除算法研究综述,包括Massive MIMO全双工系统工作模式,优势及面临的主要挑战,并详细介绍了 Massive MIMO全双工系统自干扰消除算法研究现状,并指出了自干扰信道瞬时信息难以获取与系统能效较低是自干扰消除过程中面临的两大挑战。(2)针对因天线数目巨大导致的自干扰信道瞬时信息难以获取,而致使自干扰难以消除这一问题,本文提出了基于耦合信道估计的自干扰消除算法。该算法通过对自干扰信道矩阵与下行波束赋形矩阵的耦合信息的估计,取代自干扰信道瞬时信息,重建自干扰信号副本进行自干扰消除,从而解决了因自干扰信道瞬时信息难以获取而导致的自干扰难以消除的问题。理论分析与仿真验证了本文所提的自干扰消除算法可有效地进行自干扰消除,且当天线数目巨大与发送功率较高时,该算法可达到理想自干扰消除算法的性能。(3)针对在进行良好自干扰消除过程中需要极大的天线数目与发送功率而导致的系统功率损耗较大,能效较低这一问题,本文提出了基于能效优化的自干扰消除算法。该算法在自干扰消除的同时,通过对系统总可达速率与能效的分析,确定共同影响系统总可达速率与能效的收发天线数目,上下行发送功率与信道估计时的导频功率等参数作为优化参数,并对这些参数进行基于PSO(Particle SwarmOptimization,粒子群优化)的能效优化,以达到系统总可达速率与能效相对较优的效果。理论分析与仿真验证了该算法可有效地抑制自干扰提升系统可达速率,且与未考虑系统能效的自干扰消除算法相比在轻微降低系统可达速率的同时可极大提升系统能效。本论文在Massive MIMO全双工系统自干扰消除算法研究中,提出了两种自干扰消除算法,有效解决了因自干扰信道难以获取导致的自干扰难以消除与自干扰消除过程中能效较低这两个问题,为自干扰消除算法的研究提供了新思路。