第四代(4th generation,4G)移动通信系统已经大规模商用。目前世界各国都在大力研究第五代(5th generation,5G)移动通信系统。为了满足5G极高的性能指标,大规模MIMO(Massive Multiple-Input Multiple-Output)作为可以极大提高系统容量的关键技术之一被广泛研究。大规模MIMO通过部署成百上千根天线,在同一频谱资源上同时传输多路信号,可以有效利用稀缺而宝贵的频带资源,大幅度提升系统容量。另一方面,物联网作为5G重要的应用场景之一,不仅需要极大的系统容量,并且需要支持海量设备同时通信。所以,大规模MIMO多对双向中继(Multi-pair Two-way Relay)系统凭借其允许多组设备同时通信以及系统容量高等特点,符合5G物联网海量连接与通信的需求,是目前5G物联网的研究热点。本文首先针对大规模MIMO成本过高问题,提出基于低成本射频链路的大规模MIMO半双工多对双向中继系统架构。针对低成本射频链路引入的硬件失真(Hardware Impairment)问题,分析其对系统频谱和能量效率的影响,并基于大数定理推导出天线数量趋近于无穷时该系统频谱和能量效率的近似闭式表达式,得到使能量效率最优的天线数和设备对数。另外,本文提出了该场景下的硬件缩放定律(Hardware Scaling Law),证明可以通过部署多根低成本的天线节约硬件成本而系统性能没有损失。然后,针对实际场景中难以获取准确的信道状态信息问题,提出基于硬件失真的大规模MIMO半双工多对双向中继系统信道估计误差模型。研究证明系统频谱效率与能量效率会随着信道估计误差的增加而降低。该场景下的硬件缩放定律证明,信道估计误差会增加硬件部署成本,中继需要部署更多的天线才能使系统性能没有损失。最后,为了进一步满足5G物联网对系统容量的需求,本文提出基于硬件失真的大规模MIMO全双工多对双向中继系统架构。研究证明,全双工系统能显著提高系统的频谱效率与能量效率。但是,当全双工系统引入的环路干扰(Loop Interference)较为严重时,系统将失去时间效率优势,其性能反而低于半双工系统。同时,本文证明了全双工系统拥有与半双工系统相同的硬件缩放定律。综上所述,本文分析了天线数量、设备数量、信道衰落、硬件失真度、信道估计误差以及环路干扰等参数对大规模MIMO多对双向中继系统性能的影响,为实际系统设计提供理论指导。研究表明,该系统可提高5G物联网海量连接与通信场景高速数据传输能力。