作为现代无线通信网络的关键技术之一,混合自动重传请求(Hybrid Automatic Repeat reQuest,HARQ)协议结合了前向纠错技术(Forward Error Correction,FEC)技术和自动重传请求(Automatic Repeat reQuest,ARQ)协议的优点,可以有效对抗无线信道衰落的影响,保证数据传输的可靠性和效率。同时,随着移动通信的快速发展和用户需求持续的增长,能量效率和频谱效率已经成为下一代无线通信网络的两个重要的性能指标。为了提高衰落信道下不同系统中HARQ协议的能量效率、频谱效率或实现它们之间的折中,本文研究了HARQ协议中跨层参数设计、最优功率分配等优化方案。具体来说,论文主要研究内容和主要贡献如下:首先,论文针对块瑞利衰落信道下基于Chase合并的HARQ(Chase Combining based HARQ,CC-HARQ)协议提出了一种能量有效的跨层优化方案。具体来说,采用一种对数域线性阈值误帧率近似模型推导出了块瑞利衰落信道下CC-HARQ协议能量效率的一个简单闭合表达式。基于该表达式,进一步求得了发送能量一定情况下的最优负载长度和负载长度一定情况下的最优发送能量,并通过联合迭代优化算法确定了联合最优的负载长度和发送能量。另外,为了灵活调整CC-HARQ协议中能量效率和频谱效率的平衡,引入了一个具有权重因子的归一化折中度量,并求得了使得该度量最大化的最优负载长度和发送能量。结果发现CC-HARQ协议的能量效率和频谱效率在最优负载长度上一致,但在最优发送能量上互相冲突。仿真结果表明能量有效的设计方案可以有效提高衰落信道下CC-HARQ协议的能量效率,折中方案可以通过调整能量效率的权重因子灵活调整CC-HARQ协议中能量效率和频谱效率的折中。其次,对于瑞利衰落信道下直传系统和协同系统中的截断CC-HARQ协议,为了使得在满足最大重传次数和目标丢帧率约束下系统的平均总消耗功率最小,论文提出了一种具有闭合表达式的最优功率分配算法。由于CC-HARQ协议和协同CC-HARQ协议精确平均误帧率表达式较为复杂,直接求解原始优化问题需要解多个复杂的优化问题。为了简化优化问题的求解,推导了高信噪比下一个简单的渐进误帧率表达式。利用该近似表达式,最优功率分配问题可以简化为一个几何规划问题(Geometric Programming Problem,GPP),可以通过GPP优化工具箱求解。为了进一步降低求解复杂度,利用拉格朗日乘子法推导出了最优功率分配问题的闭合表达式解。然后利用闭合表达式研究了系统参数对于最优功率分配序列的影响,并给出了最优功率分配序列单调性的充分必要条件。结果表明所提出的闭和表达式最优功率序列和采用GPP优化工具获得的结果一致,且和传统的等功率序列相比可以获得显著的功率增益。同时,协同CC-HARQ协议的最优功率分配算法性能优于直传CC-HARQ协议的最优功率算法。再次,论文针对瑞利衰落信道下多输入多输出(Multiple-Input MultipleOutput,MIMO)系统中三种典型的截断HARQ协议,分别提出了在中断概率约束下平均总功率最小化和平均总功率约束下中断概率最小化的闭式最优功率分配算法。考虑MIMO系统中I型HARQ(Type-I HARQ,TI-HARQ)协议、CC-HARQ协议和基于增量冗余的HARQ(Incremental Redundancy based HARQ,IR-HARQ)协议,从信息论的角度分析了它们在高信噪比下的渐进中断概率,并将它们表示为与分集增益和编码增益相关的统一表达式。基于统一的渐进中断概率表达式,利用拉格朗日乘子法进一步分别推导了中断概率约束下平均总功率最小化和平均总功率约束下中断概率最小化的最优功率序列的闭合表达式,发现两个优化问题的解是等效的。然后利用最优功率序列闭合表达式进一步研究了三种MIMO HARQ协议最优功率序列的性质,发现三种协议最优分配功率序列在目标中断概率小于某一与天线数目、重传次数和传输速率有关的门限时是单调递增的,且最优功率分配算法相对于等功率分配算法获得的增益随着目标中断概率的减小先减小然后增大。数值仿真结果表明最优功率分配序列可以有效提高MIMO HARQ协议的性能,且最优功率分配的性质可以有效指导MIMO系统中HARQ协议的设计。最后,论文针块瑞利衰落信道下多跳无线网络不采用HARQ协议、采用TI-HARQ协议和CC-HARQ协议的情景,提出了总发送功率约束下频谱有效的速率和功率联合优化策略。针对三种不同的情景分别从信息论的角度推导了频谱效率的闭合表达式,接着给出了发送功率一定时每一跳的最优速率,其中多跳无HARQ协议时的最优速率由一个低复杂度的一维搜索算法给出,多跳TI-HARQ协议和多跳CC-HARQ协议的最优速率由闭合表达式给出。然后给出了每一跳发送速率一定情况下最优功率分配策略,其中多跳无HARQ协议和多跳CC-HARQ协议的最优功率分配策略由闭合表达式给出,多跳TI-HARQ协议的最优功率分配策略由一维搜索算法给出。基于不同的情景下发送速率和功率的单个变量优化策略,分别提出了最优速率和功率联合优化的交替迭代算法。结果表明所提出的联合优化策略在各种情况下比等功率等速率策略、速率优化策略和功率优化策略有显著的频谱效率性能提升。