根据近些年移动通信的发展情况,移动数据业务越来越本地化,与用户近距离通信有关的服务应用越来越多。在这种背景下,终端直连技术(Device-to-Device,D2D)作为一种近距离通信技术被广泛研究,现已成为第五代通信系统的一项关键技术,相关的技术标准正在制定当中。现有的多用户多输入多输出(Multi-user Multiple-Input Multiple-output,MU-MIMO)系统未来将与许多D2D通信系统共存。新系统下的传统蜂窝网用户与D2D通信用户之间将存在相互干扰,影响彼此的通信性能。同时,现有的MU-MIMO系统本身也存在诸多问题,如反馈信息量大,配对概率低等。D2D通信技术作为一种新兴的技术,有更多的潜在应用领域。针对现有MU-MIMO系统中存在的一些问题,D2D技术可以作为一种改进手段,帮助MU-MIMO系统在不改变现有系统架构的情况下,实现更加高效、快速的MU-MIMO通信模式。本文重点研究了MU-MIMO与D2D共存系统的干扰管理和用户调度问题,以及基于D2D技术的MU-MIMO系统的改进方案设计。主要工作如下:首先,本文研究包含了MU-MIMO和D2D的异构传输系统中的干扰问题。这里推导了不同类型用户接收信号的信干噪比表达式,分析了各自受到干扰的来源和相互关系;分别针对不同类型的用户设计相应的干扰管理方案,通过预编码方式的选择和用户调度策略的设计,实现干扰抑制;具体到用户调度选择,本文给出了详细用户调度流程。最终的仿真结果表明无论是MU-MIMO传输速率,还是D2D传输速率都相较之前的系统得到了提高,其中D2D速率提高程度更为明显,相应的整个系统的性能得到了提升;其次,本文研究了利用D2D通信技术来改进现有MU-MIMO系统性能的问题。提出利用没有数据传输需求的用户充当辅助用户的角色,并通过它与有数据传输需求的用户间的D2D通信链路进行数据转发;基于现有D2D相关的协议,结合本文的应用场景,提出了辅助用户的发现和通信方案,并分析该方案对现有MU-MIMO系统的影响;对于相应的用户调度策略,本文给出了详细的调度流程和性能仿真。仿真结果验证了本文提出的方案能够明显提高系统的平均传输速率,在基站发射功率为40dBm时,平均传输速率可以提高2 bps/Hz;再次,本文利用了通用软件无线电外设(Universal Software Radio Peripheral,USRP)搭建链路仿真平台。利用3台硬件设备实现MU-MIMO通信,并对接收信号的误码率性能进行了仿真;在MU-MIMO系统的基础上,加入D2D直接通信,接收端的误码率性能表明经D2D转发的方式与直接发送方式的结果接近;最后,对全文内容进行了总结,并探讨了未来MU-MIMO系统和D2D技术相结合的更多研究方向。