移动通信发展到现在,需求早已从最初的模拟语音通信转变到高质量的多媒体业务以及移动互联网业务,为了更好的支撑上述业务需求,第五代(The 5th Generation,5G)移动通信系统应运而生。多入多出(Multiple input Multiple output,MIMO)作为第四代(The 4th Generation,4G)移动通信系统的关键技术,其卓越的性能使得其会继续在5G中大放异彩。MIMO系统由于在收发端配置了多根天线,引入了天线间干扰,因此需要在发送端对干扰进行预消除,即预编码技术。预编码技术有线性与非线性之分,线性预编码实现简单,但会引起功率损失,降低接收端等效信噪比,这可以通过引入矢量扰动技术来解决,该技术对发送信号进行非线性处理,在预先消除干扰的同时可以最小化信号预编码后的二范数。因此,本文的核心内容便是非线性矢量扰动预编码技术在5G MIMO系统中的应用研究。本文的核心内容主要分为两部分,分别是基于稀疏编码非正交多址接入系统的矢量扰动预编码研究以及毫米波架构下的数模混合矢量扰动预编码研究。本文首先对MIMO系统结构以及涉及到的预编码技术进行了简单的介绍,对比分析了线性迫零预编码与非线性矢量扰动预编码的优缺点,仿真了上述预编码算法的误码率性能。随后介绍了稀疏编码非正交多址接入技术,对MIMO-SCMA系统中矢量扰动预编码技术的应用进行了相关研究,在高维调制系统中设计了相应的MIMO发送方案,针对发送向量非均匀星座图引起的取模损耗,提出了扩展星座软解调、星座旋转以及扩展取模间隔三种优化措施,提升了系统的误码率性能。最后研究了毫米波通信系统中数模混合矢量扰动预编码技术,介绍了宽带毫米波数模混合预编码系统,在发送端提出了一种新型数模混合矢量扰动发射机结构,取得了较好的误码率性能。针对宽带毫米波系统中各子带均采用相同的模拟预编码器这一特征,提出了基于子带等效信道矩阵条件数的预编码切换方案,可以在系统的复杂度与误码率性能之间取得折衷。