大规模MIMO(Multiple Input Multiple Output)可以利用数目较多的天线和较简单的信号处理方法获得比传统MIMO系统高出若干数量级的能量效率、频谱效率以及更高的安全性和系统健壮性,因此有望成为未来互联网,如物联网、云网络等的关键技术。阵列优化设计、波达方向(Direction Of Arrival,DOA)估计和天线阵元选择,是大规模MIMO技术中的关键问题,本文对这些问题进行了深入理解。本文的主要工作总结如下:(1)研究了大规模MIMO阵列优化。研究了衡量空域相关性的相关系数及其影响因素,构建了存在空域相关性的MIMO的空间衰落信道模型,使用该模型分析了两用户和多用户相关系数对信道容量的影响,并利用用户间的相关系数合理安排用户所在方位角,来获得较大的信道容量。研究了不同天线阵列布局对大规模MIMO信道容量的影响。(2)研究了大规模MIMO系统二维DOA估计算法。首先介绍了经典的传播算子类PM,然后针对PM需要二维谱峰搜索的缺点,研究了旋转不变性PM,该算法不需要谱峰搜索,具有较低的计算复杂度,且能够自动配对波达角。继而介绍了低复杂度的降维PM和级联PM,利用旋转不变性的PM进行初始估计,避免了对协方差矩阵的特征分解,进一步降低了算法的计算复杂度。降维PM能够自动配对波达角,只需要一维谱峰搜索,具有很低的计算复杂度。级联PM能够自动配对波达角,只需要局部二维谱峰搜索,降低了复杂度。(3)研究了大规模MIMO阵元选择算法。研究了较具代表性的天线选择算法,包括递减法、改进的递减法、递增法、Doolittle-QR分解法和范数法。采用了IST SATURN信道模型,以提高系统信道容量为最终优化目标,仿真了天线数目增大后,使用上述天线选择算法的大规模MIMO系统的信道容量变化,对比了各个算法在不同条件下的优劣,以及它们对大规模MIMO性能影响,包括复杂度分析,信道容量与信噪比的关系,信道容量与相关系数的关系,信道容量与发射(接收)天线个数的关系,信道容量的累计概率密度分布曲线。