随着移动互联网和物联网的快速发展,越来越多的应用场景出现,迫切需要发展第五代移动通信系统(5G)以迎合人们日益增长的无线通信需求。大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)技术能够大幅提升通信系统的吞吐率和频谱利用率,已经成为了5G的关键技术之一。然而,在大规模MIMO系统的实现与应用中,仍存在着数据计算量激增、射频链路开销大和信道状态信息(Channel State Information,CSI)获取困难等问题。针对这些问题,本文设计了一种资源利用率较高的大规模MIMO系统架构,进行了原型机验证,并研究了数模混合预编码技术以降低射频链路开销。其中,重点对动态场景中的大规模MIMO数模混合预编码进行了研究,提出了一种能够感知环境变化信息的数模混合预编码算法。本文的主要工作如下:首先,针对NI-PXIe硬件平台的特性,结合大规模MIMO系统的设计指标,对硬件资源进行了分析与合理配置,设计了一种资源利用率较高的大规模MIMO并行架构。该架构采用了并行处理的设计思路,解决了时钟速率过高和数据计算量大的问题。同时,提出了更加稳定的板间信息交互方案,使得不同FPGA间传输的数据长度能够自适应改变,保证了板间信息交互速率不超过硬件支持的上限。该架构有效提高了系统传输速率,并且支持更大规模天线数的灵活扩展。然后,基于该大规模MIMO并行架构,在NI-PXIe平台上实现了超高速MIMO通信系统,能够支持高清视频流的无差错实时传输,并且系统吞吐率达到1 Gbps以上,验证了该架构的可行性与有效性。在具体的实现过程中,提出了一些开销较低的关键FPGA实现方案,实现的FPGA基带模块主要包括信道编/解码、调制/解调、傅里叶逆变换(IFFT)/傅立叶变换(FFT)、信号同步、信道估计与均衡等。接着,为了进一步降低大规模MIMO系统的硬件开销和功耗,对假设CSI已知的数模混合预编码技术进行了研究。在单用户大规模MIMO系统中,对不同的混合预编码方法进行了仿真与性能分析。综合衡量性能与实现复杂度,选择了基于正交匹配追踪(Orthogonal Matching Pursu,OMP)的混合预编码方法进行实现,并将实现的硬件模块与MATLAB进行联调,验证了该模块功能的正确性。最后,针对动态场景中的大规模MIMO通信系统,提出了一种基于机器学习的数模混合预编码算法。该算法能够感知环境的变化,并从中学习所需的潜在概率信息,进而自适应地调整模拟预编码矩阵的求解策略。同时,该数模混合预编码算法不需要提前获知完整CSI,部分避免了大规模MIMO中CSI获取困难的问题,因此适用于各种较复杂的通信场景。通过算法仿真与对比分析,发现随着信噪比和天线数增加,本文所提算法的性能逐渐接近传统纯数字预编码,验证了该算法性能的有效性与优越性。