为缓解频谱资源短缺和需求激增之间的矛盾,基于毫米波的大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)技术开始被广泛应用于下一代无线通信网络中。虽然毫米波大规模MIMO技术能够显著提升系统容量,但也面临着包括毫米波严重的路径损耗以及规模MIMO技术中射频链限制问题在内的许多挑战。与均匀平面天线阵列相比,新型透镜天线阵列在解决这些问题上有以下优势:第一,它具有更窄的波束和更高的方向性,更适用于毫米波传输;第二,仅与简单的开关电路结合就可以解决射频链限制问题,极大地节省了开销。因此,基于透镜天线阵列的毫米波系统开始受到广泛关注。为了充分发挥透镜天线阵列的优势,出色的信道估计技术必不可少,因此本文研究了适用于透镜天线阵列的信道估计技术。为了减少导频开销,本文只进行上行链路信道估计,由于透镜天线阵列的路径互易性,在下行数据传输过程中使用相同时频资源块的多个用户间可能会发生用户间干扰,因此本文研究了适用于透镜天线阵列的抗干扰技术。本文的主要贡献有:(1)首先,调研并详细分析了当前毫米波大规模MIMO系统关键技术,包括天线选择机制,信道估计算法以及抗干扰技术,总结并对比了典型的信道估计算法基本原理和技术细节。最后,从划分网格的角度重点探讨了各种估计算法的性能。(2)其次,研究了基于透镜天线阵列的信道估计技术。考虑到毫米波信道特性,本文使用空间域方法进行信道估计。其中,利用透镜的能量聚焦特性和毫米波信道的稀疏性提出了一种两阶段天线选择机制。基于上述天线选择机制,可以直接利用最小二乘算法获得估计的信道响应矩阵,以满足低计算复杂度场景的需求。为了获得更精确的信道响应矩阵并分离到达角,本文进一步提出了一种无网格信道估计方案。仿真验证了本文提出的天线选择机制和信道估计方案的有效性。(3)最后,为了解决下行链路数据传输过程中可能发生的多用户干扰问题,本文基于空分复用的思想为发生干扰的用户重新进行天线选择,并分别考虑了以系统和速率最大化为目标和以用户公平性为目标两种场景建立优化方程。为了降低计算复杂度,将所有可能的干扰情况分为三类情况分别考虑。针对干扰最严重的主天线干扰情况,提出了分区搜索算法获得次优解,并通过去除无干扰组进一步降低了计算复杂度。通过仿真研究了不同参数对系统性能的影响,并验证了本文所提方案的有效性。全文共5章,图22幅,表6个,参考文献72篇。