随着无线通信的飞速发展，与日剧增的智能终端以及不断涌现的高速业务，导致频谱资源稀缺及其利用率低等问题日益突出。如何实现频谱高度共享，满足更多类型高速业务的接入需求，成为无线通信亟待解决的现实任务。认知 MIMO兼具认知的智能灵活性和MIMO的空间传输能力，能够显著提升频谱利用率，尤其是干扰对齐技术的引入，可突破传统干扰管理方法的多业务容量限制，为实现大容量、高速率传输提供理论基础。认知MIMO干扰网络具有用户构成复杂、频谱使用权存在差异等新特点，导致传统干扰对齐技术无法直接应用于频谱共享机制中。为此，本文在充分理解和挖掘干扰对齐相关物理意义的基础上，根据主次用户协作/非协作关系以及信道状态信息的获取状况，分别从系统极限容量、网络性能优化、鲁棒设计等方面，对认知MIMO频谱共享机制与算法开展层层深入的研究。　　本研究主要内容包括：⑴为表征认知MIMO干扰网络的极限容量，理论分析了主次用户协作条件下的网络自由度上界，并提出了相应的可达算法。首先，从复用主用户干扰空间的角度，兼顾MIMO空间维度的有限性，结合多元二次方程有解条件，依据代数几何中Bezout’s定理，推导了基于用户协作的自由度上界，论述了最大自由度与用户数的非线性关系。然后，为验证上界的正确性和有效性，提出了一种基于用户协作的联合频谱共享算法。该算法中设计了联合干扰指标，并以最小化该指标构建优化模型，结合矩阵Frobenius范数理论和Rayleigh-Ritz定理，推导了发送预编码和接收匹配滤波矩阵之间的关系。最后，证明了算法的全局收敛性，并给出了迭代终止条件。理论分析和仿真结果表明，所推自由度上界突破了已有文献所给结论，且可通过所提算法达到。⑵针对已有干扰消除类算法由于涉及对高维矩阵的反复特征值分解，计算复杂度过高的问题，引入共轭梯度自适应滤波的思想，提出一种基于子空间跟踪的低复杂度频谱共享算法。该算法通过利用前后次交替迭代最优矩阵的关联性，以干扰信号到期望干扰空间的投影距离最小化为优化目标，结合主用户干扰正交化和收发矩阵列满秩的双约束条件，利用矩阵共轭梯度，推导了待优化矩阵间的递归更新关系，通过矩阵乘加只求解关心的低维矩阵，避免了已有算法反复的矩阵特征值分解过程，从而达到降低复杂度的目的。理论分析和仿真结果表明，所提算法的收敛速度快、容量性能好，避免了不利于硬件实现的非线性运算，且线性计算复杂度降低了一个数量级。⑶针对已有干扰抑制类算法采用半正定松弛方法处理干扰温度约束，无法保证最优性能的问题，提出一种基于Lagrange部分对偶的最优频谱共享算法。该算法采用交替迭代结构，为实现发送预编码矩阵解耦，利用凸优化Lagrange对偶原理，通过将干扰温度约束变换到Lagrange目标函数中，使得最优频谱共享问题转化为两个易处理的子优化问题，进而采用次梯度投影法，实现Lagrange变量以及最优预编码矩阵的迭代更新。理论分析和仿真验证了算法的有效性，结果表明所提算法可快速收敛，且获得的网络容量明显优于已有半正定松弛的干扰抑制类算法，能够有效实现干扰网络容量最大化。⑷针对干扰信道状态信息缺失下主次用户频谱共享问题，提出一种基于信道学习的正交迭代频谱共享算法。该算法将空间谱分析理论应用于频谱共享机制中，将其分为信道学习阶段和数据传输阶段：在信道学习阶段，次用户利用接收的协方差矩阵，结合最小描述长度方法，估计出主用户的维度和干扰信道的正交矩阵，以实现与主用户无干扰传输；在数据传输阶段，次用户利用信道学习结果，构建等效信道，并采用交替迭代的方式，推导出认知传输参数的调整策略，来获得网络的最优传输性能。理论推导了信道学习时间和主用户残留干扰的闭式关系式，并给出了算法对天线配置的要求。仿真结果表明，通过信道时间的合理选择，所提算法可以在保证主用户通信质量的同时，有效提高网络吞吐量。此外，算法能够通过调整信道学习时间使网络适用于不同的应用场景，具有一定的灵活性。⑸为增强所提最优频谱共享算法在干扰信道状态信息缺失下的鲁棒性，采用欧几里得球形信道不确定性刻画信道学习误差，提出一种基于最差条件最优的鲁棒频谱共享算法。该算法通过worst-case准则来保证主用户正常通信需求，将无穷维的半无限规划转化为确定性的二次规划问题，并利用Lagrange对偶原理加以求解。从理论上定性地分析了算法的全局最优性，并推导了算法的可达自由度范围以及可容忍的最大估计误差范围。仿真结果表明，所提算法具有较好的鲁棒性，且获得的次用户网络性能优于已有算法。