运用流媒体传输技术为大规模互联网用户提供高质量网络视频服务,成为近年来计算机网络和多媒体技术领域研究的热点之一。在应用层组播系统框架(模型)的研究中,覆盖网(Overlay Network)、对等网络(Peer-to-Peer Network, P2P)、媒体编码(Media Coding)和网络编码(Network Coding)等理论和技术的发展对大规模流媒体应用起了很大的促进作用。是否采用结构化方法构建覆盖网是应用层组播研究的首要问题,并由此延伸出两种不同的覆盖网模型：结构化和非结构化覆盖网模型。结构化覆盖网模型重点研究覆盖网拓扑结构的建立和优化,而非结构化覆盖网模型着重于数据调度策略的研究。性能上,前者比后者具有更低的延迟和控制开销,但健壮性和可扩展性的差距明显。因此,从性能互补角度来看,两者的融合可能会带来“1+1>2”的性能提升空间。为了将可能变为现实,我们提出基于混合网状覆盖网的应用层组播模型。该模型以结构化网状覆盖网为主干层,以非结构化网状覆盖网为辅助层。本文主要研究基于混合网状覆盖网的应用层组播系统中的关键技术。目的是解决应用层组播中的高质量问题(高效性、健壮性和可扩展性的综合),提高流媒体传输服务质量。本文主要研究贡献如下。(1)提出基于结构化网状覆盖网的应用层组播模型来构建主干层。模型按照自相似结构化图的定义形成以节点群为单元的层次聚类结构。结合初始数据流图形成类似多树的均衡结构。模型比传统的分层和多树模型,有着更好的组播效率和负载均衡性,且节点失效影响和控制开销都控制在很小范围内。特别地,结构化覆盖网优化采用节点群整体代换方法,与基于单个节点的优化方法相比,优化收益与开销的性价比有显著上升。设计相应的线性网络编码、主动链路修复和节点群拼接等扩展机制处理节点失效问题,综合运用三种扩展机制使得主干层在各种失效情况下都具有稳定的性能表现。(2)辅助层采用非结构化覆盖网的合作构建机制和跨层调度策略。非结构化覆盖网的建立和优化采取与主干层合作的QoS感知聚类力法,与其它QoS感知方法和随机邻居节点选择方法相比,覆盖网优化速度有明显提高,而且优化后的覆盖网平均链路延迟更小。提出综合稳定性、带宽贡献能力和网络邻近性三种关键影响因素的节点性能评价指数作为节点跨层调度的依据,在三种因素最优的性能参数配置下,该策略可以显著提高系统的有效下载速率。为实现数据流的跨层无缝衔接,提出子流驱动的最优化调度模型及其分布式算法,与数据驱动和混合式推拉调度算法相比,算法在开销(控制开销和内容冗余开销)、延迟以及吞吐率方面具有较大优势。(3)在混合网状覆盖网的应用层组播模型的基础上,提出并实现了流媒体直播系统方案ClusterStream以及基于分阶段数据调度的扩展机制,以满足交互式应用既要有延迟保证又要有良好扩展性的性能需求。分阶段数据调度机制可以在提供延迟保证的情况下,有效减少不同阶段转换时产生的内容冗余开销。在校园网环境下的原型系统实验表明,ClusterStream在延迟(启动延迟和播放延迟)、播放质量和开销方面具有良好的性能表现,与模拟实验结果基本一致。(4)研究面向大规模流媒体点播服务的混合网状覆盖网的扩展技术。包括基于正则结构化网状覆盖网的缓存查找机制以及子流和分层编码结合的启发式预取策略。实验结果显示,缓存查找机制可以有效提高查找效率,减少服务器压力；预取策略在较大规模的节点请求情况下,流媒体视频质量下降较小。本文主要创新点归纳如下。第一,提出基于混合网状覆盖网的应用层组播模型,以发挥结构化和非结构化网状覆盖网模型的优势,屏蔽各自不足。第二,以均衡覆盖网优化的开销和收益为目标,研究以节点群整体代换为基本操作的结构化网状覆盖网优化方法。第三,结合节点的稳定性、带宽贡献能力和网络邻近性等性能影响因素,将节点性能综合评价指数作为节点跨层调度的依据。第四,为实现数据流的跨层无缝衔接,减少辅助层数据调度的延迟和控制开销,设计实现了基于子流驱动的最优化数据调度算法。总之,本文以基十混合网状覆盖网的应用层组播为研究对象,分别从模型和系统的角度出发对混合网状覆盖网构建和跨层调度问题进行了深入地研究,提出了一系列有效的解决方法,并通过大量模拟和原型系统实验验证了解决方案的有效性。