大规模多天线(MIMO)技术是目前新兴的无线通信技术之一。该技术通过在基站端部署数以百计的天线并服务较多的用户,实现了惊人的容量及频谱利用率。然而,由于该系统在同一时间和频率资源内支持大量数据流,大规模MIMO系统是一个严重的自扰系统。因此采用一定的信号处理技术抑制这些干扰是必须的。此外,鉴于大规模MIMO系统庞大规模与用户终端处理能力的有限,基于接收端的用户检测技术在该系统中并不可行。所以,预编码技术成为大规模MIMO系统下行链路的主要干扰抑制技术。论文以此为背景,较为深入地研究了大规模MIMO系统下的预编码技术,包括大规模单用户MIMO(SU-MIMO)系统、大规模多用户MIMO(MU-MIMO)系统下的线性、非线性预编码技术。论文的主要研究内容及贡献如下：第一,本文以基于迫零(Zero-forcing,ZF)准则的线性预编码为例,在大规模MIMO系统中给能量惩罚(Energy Penalty)问题提供了一个直观而深入的解释。在此基础上,本文将上述的推导扩展到更多的预编码技术以及更具实际意义的信道模型上。具体来讲,本文推导了基于ZF准则的预编码技术、基于规则化追零(Regularized ZF, RZF)准则的预编码技术以及基于奇异值分解(Singular Value Decomposition, SVD)预编码技术在大规模MU-MIMO系统中下行链路的渐进遍历和速率,并指出这三种技术在发送功率受限时,下行遍历和速率随用户数增多而下降的现象。第二,在上述推导的基础上,本文提出了一种离线的计算大规模MU-MIMO系统中下行链路最优用户数目的算法。当系统服务最优用户数时,大规模MU-MIMO系统中下行链路的遍历和速率是最大的。令M表示基站端天线数、N表示所有用户天线数之和,本文还指出,当采用线性预编码算法时,让系统满负荷运转(M=N)是一种不好的策略。当系统满负荷运转时,仅仅在基站端添加少数天线就能获得很大的和速率增益。第三,基于线性预编码算法在系统满负荷运转时的不良表现,本文提出一种基于指向性交互式禁忌搜索(Oriented Reactive Tabu Search, ORTS)的向量扰动非线性预编码技术。该技术实现了性能与运算复杂度的良好折中,并获得了与基于格缩减(Lattice Reduction,LR)的预编码技术几乎相同的分集增益。