随着第五代(5G)无线通信系统的发展,大规模MIMO技术能够显著提高通信系统的可靠性和信道容量,被认为是5G应用的关键技术之一。而在许多应用场景中,需要具有更多天线单元的紧凑天线阵列,这要求天线单元之间的间距更小。天线间距越小,互耦越强,就会导致天线性能下降,空间相关系数增大,信干噪比(SINR)变差。此外,互耦还会提高码元误码率。因此,减少MIMO阵列间的相互耦合被认为是提高MIMO系统性能的有效途径之一。另一方面,近年来关于超表面、超材料的研究越来越多。超材料具有的某些独特性质可以十分有效地增强天线阵列的各种性能。超表面作为超材料的二维表现形式,很大程度上拓展了电磁媒质的范围,且具有低剖面,易加工,低损耗等特点,在电磁波调控方面有着极为广泛的应用。为了降低近距离排布MIMO天线阵列的耦合,本文探究了基于超表面覆层的阵列天线耦合抑制方法。超表面覆层不占用天线之间的空间,易于集成,且易于实现结构小型化。本文从表面波耦合和自由空间耦合出发,研究了超表面解耦的理论及实现方法。论文主要内容如下:首先提出一种基于表面波抑制的超表面解耦设计。通过理论推导和理想模型仿真发现当超材料覆层与天线基板电参数具有一定关系时,表面波传播被抑制。以介质基板εr=2.2为例,设计了等效电参数εeμe=3的超表面。实现了微带贴片天线阵列的表面波耦合抑制。然后提出了一种基于空间耦合场调控的超表面解耦设计。通过分析微带天线E面和H面不同的耦合特性,提出一种各向异性超表面结构,分别通过耦合场抑制和耦合路径抵消两种方法减小E面和H面耦合。详细分析了超表面的等效电路及色散特性。最后设计并加工了 E面和H面耦合阵列来验证超表面的解耦效果。通过分析双极化天线阵列的耦合情况,将双极化天线间的自由空间耦合分共极化耦合和交叉极化耦合考虑。共极化耦合又可分为TE波耦合和TM波耦合。基于前述的研究,提出一种耶路撒冷十字型缝隙超表面。通过分析超表面的等效电路和色散特性,阐述了其对TE波耦合和TM波耦合同时解耦的原理。设计了加载超表面覆层的双极化微带天线,并分析了超表面参数对解耦性能的影响。经过适当的调整,取得了优秀的解耦效果。最后将前述提出的解耦超表面推广至不同的MIMO天线阵列。研究了单极子天线和交叉偶极子天线的解耦设计。同时,优化了解耦超表面的设计,提出一种混合表面结构,将反射抵消解耦方法与前面提出的超表面解耦方法结合。从而实现共极化耦合和交叉极化耦合的同时消减。设计了具有多个阵元的交叉偶极子天线阵列,研究了混合解耦表面在大规模MIMO阵列中的应用效果与前景。