大规模多输入多输出(Massive Multiple Input Multiple Output, Massive MIMO)是新一代移动通信系统中的关键技术之个,它具有大幅度提升系统频谱效率和能量效率的潜在优势。但是,大规模MIMO技术的应用仍然面临诸多挑战,比如导频污染、信道测量与建模、信道估计、波束赋形设计及低成本硬件实现等。本文面向绿色宽带移动通信的发展需求,研究能效优化的大规模MIMO无线传输技术。主要工作和贡献包括：首先,以提高系统能效为目标研究多小区多用户MIMO传输技术。给出系统模型并定义能效优化问题,由于目标函数呈分式形式和优化变量之间相互耦合导致优化问题难以直接求解。为解决该问题,引入辅助变量,利用分式规划和低复杂性连续凸逼近法把原始问题近似等效转换为凸问题,进而提出一种联合波束赋形和功率分配的交替迭代优化算法,从理论上证明了其收敛性。仿真结果表明所提算法经过若干次迭代即可收敛,系统能效性能明显优于传统传输方案。接着,研究单小区大规模MIMO能效优化传输技术。针对单小区多用户下行链路,以能效为目标,并同时考虑用户服务质量(Quality of Service, QoS)需求和单基站功率约束建立优化问题。引入辅助变量并根据上下行对偶性,将原始下行优化问题等效转换为对应的虚拟上行优化问题。进而,考虑有限系统中利用瞬时信道状态信息(Channel State Information, CSI)及大规模MIMO系统中利用统计CSI两种情形,分别提出相应的能效优化波束赋形算法,并分析了所提两种算法的收敛性与计算复杂度。数值仿真表明所提两种算法均具有较快的收敛速度,以及随着发射天线数目的增加,利用统计CSI的波束赋形算法的系统能效性能趋近于利用瞬时CSI的波束赋形算法,因而可以有效地实现系统性能与复杂度的折中。然后,研究多小区协作大规模MIMO能效优化传输技术,着重解决其所涉及的联合波束赋形和功率控制优化问题。为求解该问题,引入辅助变量将原始问题转换为极小极大问题,并基于上下行对偶性实现问题等效转化,提出了有限系统中利用瞬时CSI的能效优化波束赋形算法。进而,针对大规模MIMO系统,根据大维随机矩阵理论,设计出利用统计CSI更新功率分配和利用瞬时CS1分布式更新波束赋形的传输方案。与传统利用瞬时CS1的传输方案相比,所提传输方案可以有效地减少信令交互开销,降低功率更新频率,并且进一步降低实现复杂度,同时维持系统能效性能。仿真结果验证了所提算法的收敛性和有效性。最后,以提升能效和频效综合性能为目标研究多小区多用户MIMO传输技术。构造资源效率并作为优化目标函数,利用分式规划和凸近似法将原始比式和问题逐步转换为减法形式以及标准的几何规划问题。以此为基础,利用功率分配和波束赋形交替迭代优化思想,分别提出了理想CSI资源效率优化的协作波束赋形算法和非理想CSI资源效率优化的鲁棒性协作波束赋形算法,并且从理论角度分析了所提算法的收敛性与计算复杂度。数值仿真验证了所提算法的有效性,并表明通过合理地设置资源效率的权重因子可以权衡系统频谱效率与能效性能。