无线信道的衰落特性严重地影响了无线通信系统的信号质量。混合ARQ技术、协同通信技术、无线多跳网络技术是高速通信系统中对抗无线信道衰落的有效手段。目前对这些技术性能的研究主要是从信息论角度或者误码率的角度进行的，而实际的通信系统总是以分组的形式发送，因此必须考虑帧长度对系统性能的影响。另一方面，随着跨层设计思想被不断认同，有必要获得误帧率或吞吐量等信息，来进行系统的跨层联合优化。基于此研究背景，本文对分组系统在衰落信道下的误帧率、混合ARQ技术、协同通信技术、无线多跳网络中的接纳控制技术进行了研究与性能优化。论文的主要研究成果和创新点包括以下几个方面：首先，对衰落信道下的误帧率性能进行了研究。现有研究主要通过计算机搜索、近似、或者宽松界限等方法，本文通过引入“反转编码增益”的概念，获得了瑞利衰落信道下对于一般的调制与编码方式下系统误帧率的上限表达式，并证明了该上限在高信噪比下和帧长较大时是严格的紧上限。其次，证明了对于采用一般的调制与编码方式的系统，其“反转编码增益”与分组长度的对数成线性比例关系。从数学的角度提出了一种新的描述高斯信道下误帧率曲线“陡峭度”的定义。通过该定义，本文证明：分组长度越大，误帧率曲线越陡峭；编码系统一般比非编码系统更陡峭。本文的分析结果与现有文献的仿真观察结果是一致的。第二，基于Renewal-Reward理论，获得了快衰落信道下Type I型ARQ系统平均吞吐量；分析了瑞利衰落信道下的平均吞吐量表达式，并推导了使得吞吐量最大时的最优帧长简单表达式，分析表明：在瑞利快衰落信道下，最优帧长随着协议开销长度和平均信噪比的增加而线性增加。第三，对慢衰落瑞利信道下Type I型和Type II ARQ系统平均吞吐量进行了研究。假设系统在高斯信道下的误帧率曲线具有严格陡峭特性，推导得到了平均吞吐量的近似表达式。进一步的研究发现，在慢衰落信道下，使得吞吐量最大时的最大重传次数为1，而最优的功率分配方案为将所有的功率分配给第一次发送。第四，对协同分组中继系统在瑞利衰落和Nakagami-m衰落高信噪比下误帧率性能进行了研究，并分析了分组长度对AF和DF模式的性能差异的影响。研究发现，DF模式性能总是要好于AF模式，并且分组长度越小，两者的性能差异越大。第五，研究了协同分组中继系统的最优中继节点问题和DF模式下的最优功率分配问题。研究发现，对于AF模式，最优的中继位置总是位于源和目的节点的中点处；而对于DF模式，最优的中继位置总是位于中点附近偏目的节点处，且分组长度越大，最优的中继位置越靠近中点；对于DF模式，最优的功率分配总是分配更多的功率给源节点，并且分组长度越大，分配给源节点的功率将更多。最后，提出了一种保证无线多跳网络中实时多媒体业务服务质量的高效接纳控制方案。该机制采用跨层设计思想，以网络中每个节点MAC层感知的信息为基本依据，在新业务申请进入网络时在路由层发起接纳判决过程，在保证已有业务QoS不受损害的同时，新业务的QoS要求能够得到满足时才允许接入。分析和仿真证明了该机制能很好的保证实时业务的吞吐量、端到端延迟和延迟抖动等QoS参数，并与现有机制相比具有控制负载小，带宽利用率高的特点。