人们对便捷通信的强烈渴望推动了无线通信技术的飞速发展。为了满足多媒体业务日益增长的服务质量(QoS)要求,下一代无线通信系统必须更为灵活和有效地利用有限的无线资源。跨层设计思想打破了传统的分层网络结构,将原来被割裂的网络各层作为统一的整体进行设计和优化,使得在时变的无线衰落信道中保证多媒体业务的QoS变得切实可行。本论文以点到点无线链路、端到端有线-无线混合通信网络和协作通信网络这三种无线网络形态为研究背景,探讨了这些系统中的的跨层设计方法。主要从以下几个方面展开了深入的研究,概括如下:研究了点到点无线链路上的跨层设计问题。针对一个结合物理层的自适应编码调制技术和数据链路层的混合自动请求重传技术的点到点无线链路,研究了QoS保证业务的吞吐量优化问题。首先,利用嵌入马尔可夫链理论分析了数据链路层的排队过程,得到了吞吐量、时延和丢包率的表达式。基于上述分析,提出了一种跨层设计方法,在满足时延和丢包率的前提下,有效地提高了吞吐量。研究了端到端有线-无线混合通信网络中的跨层设计问题。针对一个存在QoS保证业务的有线-无线混合通信网络,研究了如何通过联合考虑物理层上自适应编码调制技术、数据链路层上的混合自动请求重传技术以及传输层上的传输控制协议(TCP)来优化端到端吞吐量的问题。首先对该问题涉及到的传输层、数据链路层和物理层进行了合理的数学建模,然后利用定点方程研究了传输层与底层之间的相互作用关系。依据对定点方程的分析,提出了一种跨层设计方法,在满足端到端时延和丢包率的前提下,有效地提高了端到端吞吐量。研究了协作通信网络中的跨层设计问题。针对一个采用自适应编码调制的三节点协作通信网络,研究了协作增益和协作时机两个问题。首先,联合考虑物理层的协作分集和自适应编码调制技术,以及数据链路层的混合自动请求重传技术,根据协作通信中经典的译码转发方案设计了全协作混合自动请求重传协议。进一步地,考虑到协作时机的问题,又提出了基于时机选择的协作混合自动请求重传协议。通过分析比较上述两种协议的误包率和频谱效率性能,可以得出,两个协议均可以有效地优化系统的性能,且考虑到协作带来的开销,基于时机选择的协作混合自动请求重传协议具有更优的性能。