基于Hadoop的实时流媒体分布式处理研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:wukai110032
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着三网融合的逐步推进,广播电视网、计算机通信网、电信网络中涌现出越来越多的媒体数据。这些媒体数据的处理不仅需要大量的计算资源,而且在处理时间上也有严格的要求,所以如何保证实时流媒体的服务质量始终是重要的研究课题。   提高单机多处理器并行能力的传统方法,虽然可以在一定程度上提高实时流媒体的处理速度,但限于硬件约束,始终存在能力瓶颈。分布式并行处理可以解决单机瓶颈的问题,是当前的研究热点,但需要考虑负载均衡、任务分配以及分布式编程等工作,计算过程更为复杂。实时流媒体的分布式处理技术尚不成熟,当前的研究较多针对实时流媒体的分块及任务顺序调配,而在任务调度和负载均衡等方面的研究成果并不多见。   本文面向实时流媒体进行分布式处理,基于当前流行的开源架构Hadoop系统开展任务调度和负载均衡算法的研究。本文设计了流媒体的编码和转码的架构以及提出了编转码架构的三层处理模型,针对三层架构首先研究了可以适配不同终端的H.264 SVC(Scalable Video Coding)编码格式流媒体的编码和转码方法,为了使得SVC的编转码方法能够进行分布式处理,本文将SVC的编转码进行了分布式移植,实现了SVC编转码的map reduce编程模型,使得SVC的编转码方法能够在Hadoop上分布式执行。然后本文将当前Hadoop使用的负载和调度算法进行了对比分析和研究,并对负载和调度方案进行了改进,设计使用了基于堆的动态阈值混合负载均衡算法和基于用户优先级的DF(DeadlineFirst)调度策略。另外本文提出了流媒体数据块的分块封装方法,以配合设计的负载和调度策略。本文最后进行了实验的验证,为了验证改进Hadoop对实时流媒体处理的有效性,本文在任务平均处理时长和满意度两方面进行了实验对比,实验结果显示在任务平均处理时长和满意度量方面改进Hadoop与原Hadoop比较都更优,从而验证了本文提出的方案的有效性。   本文的成果,验证了设计的改进方法满足了实时流媒体的实时性、并发性和处理速度等方面的要求,使得采用分布式架构进行实时流媒体处理具有更好的服务质量,减少了实时流媒体的处理时间,增强了用户的主观体验。本文的设计提供了实时流媒体在分布式环境下处理的一种改进方法,为进一步的处理和存储等工程化应用打下基础。
其他文献
在煤矿开采过程中,运输皮带机的作用至关重要。其性能的好坏直接影响到煤矿行业的发展和效益。针对煤矿运输皮带机运输系统运行环境距离长、站点多、干扰源复杂、运行参数多等
磨矿过程直接影响整个选矿生产过程的电耗、钢耗、产品质量和回收率,但很多重要的磨矿过程参数(如球磨机内部的各粒级含量、水含量、磨球含量等)由于技术或费用等原因难于检
从世界范围来看,带电作业机器人的发展已经有很多年了,但是有些技术还不太成熟,特别是在国内,基本上还是处于研究和实验的阶段。然而该机器人的应用前景却是非常的广阔。所以对带
近年来随着中央空调的广泛应用,空调管道清洗越来越被人们所关注,风管清扫机器人作为风管清洗的关键设备得到了人们的重视。针对目前国内外风管清扫机器人自动化程度不高、工作
业界一直在尝试新的巡检方式,包括巡检机器人等,现在各类变电站综合自动化系统也已能够实现变电站设备的保护、控制和测量自动化,并将设备的损坏和由此产生事故的可能性降到最低
伴随着我国经济的快速发展,电网的负荷量不断增长,负荷结构越来越复杂,这就对供电质量、可靠性以及信息化程度提出了更高的要求。电力自动抄表系统是一种以计算机技术、通信技术
倒立摆是一个绝对不稳定、高阶次、多变量、强耦合的非线性系统,它将机器人技术、智能控制、计算机控制等有机的结合在一起,因此倒立摆可作为一个典型的被控对象对其进行研究。
车辆自组织网络是智能交通系统未来的发展方向,能进一步提高道路交通的安全性、效率和信息服务水平。由于车辆自组织网络的复杂性,难以采用现场实验的方式进行研究。交通仿真能
电网中机电振荡模式的存在严重限制了电网的传输能力。近年来,世界范围内由于机电振荡引发的事故时有发生,足以显现出其巨大的潜在破坏力。因此,机电模式稳定性分析对于电力系统稳定运行有着重要意义。过去几十年间,基于机理建模的分析揭示了机电模式的重要特性,为系统设计和静态安全评估提供了大量的信息和帮助。然而在互联电网背景下,随着电力系统规模和复杂度的不断增大,这类分析方法在建立实时变化的电力系统模型时面临着
目前,在低温等离子体应用领域,国内的低温等离子体设备系统自动化程度较低,将基于现场总线与以太网的现代网络测控技术引入该领域,可以提高等离子体技术应用的自动化水平,扩展其应