近年来,具有超高带宽需求的移动数据服务呈爆炸性增长,带来了对网络容量的更高要求。多输入多输出(Multiple-in Multiple-out,MIMO)技术,具有提高系统性能的潜力。超密集云接入网络(Ultra-Dense Cloud-Radio Access Network,UDCRAN)通过接入节点的密集部署和基带处理的集中化提升了系统的能量效率;全双工中继网络也因其可大幅增加系统的频谱效率得到广泛关注。将MIMO技术应用在这两种网络中,都可以更好地发挥出架构自身的优势,为用户提供更优质的服务,但系统中的干扰也变得更为复杂。为此,本文深入研究了基于UDC-RAN和基于全双工中继网络的多用户MIMO系统中的干扰协调问题。本文首先考虑一个下行UDC-RAN网络场景,综合考虑所有用户的服务节点选择、子载波使用和功率资源分配,以最大化系统总吞吐量为目标,以用户的速率要求及通信节点的发射功率约束,构建了一个混合整数非线性问题模型,来进行系统中所有用户联合干扰协调。针对该问题提出了一个联合优化算法,首先设计一种以用户为中心的分簇算法;然后,根据用户的信道状态和服务簇的容量构造优先级为每个用户分配子信道;最后,提出了通过加权和均方误差方法求解了非凸波束赋形问题。仿真结果表明,本文提出的算法能够有效处理该MIMO网络中的干扰,提升系统吞吐量和能量效率表现。其次,讨论了在全双工中继网络中每个中继服务单上/下行用户的干扰协调问题。以最小化系统中发射节点总功率为目标,建立了满足上下行用户速率要求的系统干扰协调问题模型,通过将模型构造为二次约束二次规划问题,对多天线节点的发送功率分配及波束赋形向量进行求解。仿真结果表明,本文提出的算法能够提高系统的能量利用率和用户的数据传输速率,同时更好地保障了系统中上下行用户的公平性。在此基础上,讨论了多上/下行用户接入到同一中继节点的MIMO全双工网络中的干扰协调问题。在该场景下,本文考虑了用户数据速率要求,建立了最小化系统总功率使用的收发波束赋形联合优化问题模型。提出了一种基于自干扰消除的接收波束赋形算法,进而提出了一种基于半正定松弛方法的全局发送波束赋形算法和一种次优的干扰消除波束赋形算法。仿真结果表明,本文提出的算法能够有效处理系统中的干扰,保障用户的传输速率和较高的能量利用率。