论文部分内容阅读
随着三网融合的逐步推进,广播电视网、计算机通信网、电信网络中涌现出越来越多的媒体数据。这些媒体数据的处理不仅需要大量的计算资源,而且在处理时间上也有严格的要求,所以如何保证实时流媒体的服务质量始终是重要的研究课题。
提高单机多处理器并行能力的传统方法,虽然可以在一定程度上提高实时流媒体的处理速度,但限于硬件约束,始终存在能力瓶颈。分布式并行处理可以解决单机瓶颈的问题,是当前的研究热点,但需要考虑负载均衡、任务分配以及分布式编程等工作,计算过程更为复杂。实时流媒体的分布式处理技术尚不成熟,当前的研究较多针对实时流媒体的分块及任务顺序调配,而在任务调度和负载均衡等方面的研究成果并不多见。
本文面向实时流媒体进行分布式处理,基于当前流行的开源架构Hadoop系统开展任务调度和负载均衡算法的研究。本文设计了流媒体的编码和转码的架构以及提出了编转码架构的三层处理模型,针对三层架构首先研究了可以适配不同终端的H.264 SVC(Scalable Video Coding)编码格式流媒体的编码和转码方法,为了使得SVC的编转码方法能够进行分布式处理,本文将SVC的编转码进行了分布式移植,实现了SVC编转码的map reduce编程模型,使得SVC的编转码方法能够在Hadoop上分布式执行。然后本文将当前Hadoop使用的负载和调度算法进行了对比分析和研究,并对负载和调度方案进行了改进,设计使用了基于堆的动态阈值混合负载均衡算法和基于用户优先级的DF(DeadlineFirst)调度策略。另外本文提出了流媒体数据块的分块封装方法,以配合设计的负载和调度策略。本文最后进行了实验的验证,为了验证改进Hadoop对实时流媒体处理的有效性,本文在任务平均处理时长和满意度两方面进行了实验对比,实验结果显示在任务平均处理时长和满意度量方面改进Hadoop与原Hadoop比较都更优,从而验证了本文提出的方案的有效性。
本文的成果,验证了设计的改进方法满足了实时流媒体的实时性、并发性和处理速度等方面的要求,使得采用分布式架构进行实时流媒体处理具有更好的服务质量,减少了实时流媒体的处理时间,增强了用户的主观体验。本文的设计提供了实时流媒体在分布式环境下处理的一种改进方法,为进一步的处理和存储等工程化应用打下基础。