为了对抗无线通信环境下的各种不良影响和抑制各种干扰,预编码技术在下一代无线通信系统(5G)被认为是关键技术之一。传统的2D MIMO通信系统,只考虑了信号传输过程中水平方位角的影响,而没有考虑垂直角,从而没有充分利用空间自由度。在5G中,我们要充分利用3D信道中垂直维的自由度,更深层地挖掘MIMO技术对于改善移动通信系统的整体效率与性能及最终用户体验的巨大潜能。本文研究3D MIMO中的预编码问题。从LTE/LTE-Advanced涉及到的主要场景出发,对其中的单用户3D MIMO预编码技术、单用户3D MIMO基于相关矩阵的改进预编码技术、多用户3D MIMO预编码设计等问题进行了研究。全文主要研究内容归纳如下:第一,研究了单用户3D MIMO的预编码技术。在第三章中,我们着重分析了3D MIMO系统3种天线阵列模型特性以及各自对应的信道脉冲响应,提出了两种基于克罗内克积的3D MIMO系统预编码设计方案,并且对两种预编码设计方案进行了仿真分析。第二,研究了单用户3D MIMO基于相关矩阵的改进预编码方案。分析了一般天线阵列的水平维相关矩阵和垂直维相关矩阵,推导出了矩形阵列和圆柱形阵列的水平维相关矩阵和垂直维相关矩阵的分析表达式。最后提出了基于两个相关矩阵的改进预编码技术,并且进行了仿真分析。第三,研究了多用户MIMO的系统模型,随后具体分析了块对角化预编码、MMSE预编码和最大信漏噪比预编码技术的基本原理。最后在此基础上,把以上的预编码算法运用到了3D MIMO系统中,并且对三种算法进行了仿真分析。