基于Hadoop的分布式视频处理的实现

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:pengtao0615
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着视频监控被广泛的运用在安防、科研等领域,每时每刻将会有大批的视频数据被生产出来,以中国科学院计算机网络信息中心和青海湖保护区管理局共同建设的野外网络视频监控系统为例,每天将会产出超过100GB的数据。视频数据约占2012年信息媒体数据的52%,并且这个数据将会持续增长,华为公司预测到2020年,该数字将会达到95%的比例。怎么高效的存储、处理和分析这些大规模的视频数据,将会成为视频大数据研究的重点和方向。  视频由于其在处理的过程中需要较高的计算量,通常视频处理服务器会被配置较为强劲的CPU。一般情况下,视频处理架构采用视频计算与存储相分离的形式,而针对视频结构进行了优化的视频存储机器普遍造价较高,与之对应的视频计算模块一般采用单一的服务器模式。当面对待处理视频规模过大、视频处理算法复杂度过高的情况时,这种视频处理架构将会暴露出许多问题,其中服务器负载过重、视频处理系统计算能力无法动态扩展、计算处理时间太长等问题尤为显著。为避免上述问题,本文结合Hadoop平台的优点开发了一个分布式视频处理的系统。  本文对基于Hadoop的分布式视频处理的相关技术及理论做了完整的介绍。第一,本文利用HDFS对视频文件进行分布式存储,提高对视频文件动态扩展的存储能力,为视频处理计算提供坚实的基础;第二,本文利用Hadoop中NLinelnputFormat的输入划分方式对视频批处理进行了分布式的实现,解决了Hadoop默认适合处理文本数据而不适合处理视频数据的问题;第三,本文使用MkvtoolNix和FFmpeg视频处理工具结合MapReduce计算模型实现了单个视频文件分布式转码的功能,实现了真正意义上分布式处理的功能;第四,本文针对视频批处理的分组方式可能存在节点计算量不均衡的问题,提出了基于贪心的分组方式,尽量保证每个计算节点处理的视频规模是相当的;第五,当前分布式的视频处理的方式都是针对特定的转码系统、特定的摘要系统等,本文搭建了视频处理的提交平台,将视频处理的计算逻辑(转码、摘要提取等)充赋给用户操作,提高了系统处理任务的灵活性。  本文完成了基于Hadoop的分布式视频处理的相关模块,以及最后通过相关实验验证了其可行性。实验证明,Hadoop的HDFS能够对海量的视频数据提供高可用的分布式存储;其天生的分布式计算特性能够提高视频处理的时间效率和计算规模的可扩展性;最后,其自身完善的任务监控机制能使用户更方便的对视频处理任务进行管理。
其他文献
满足用户需求的定制化业务的快速生成与提供是网络运营商、业务提供商取得成功的关键.该文首先探讨了传统智能网技术在业务定制化方面的不足以及业界在网络融合、业务体系结
几乎所有的科学和工程领域以及越来越多的其他领域,正在用计算科学作为他们所在学科上进行深入研究的关键工具。日益增长的计算能力提供了前所未有的解决复杂方程、模拟自然和
作为一个有着广泛应用背景的研究领域,视频序列分析通常具有很强的任务依赖性,往往是针对不同的应用假设,选用不同的算法。实际中,常常对不同的算法进行添加特定步骤来进行测试、
随着宽带网络的普及和上网人数的激增,近年来Internet进入了高速发展的阶段,许多网络内容提供商发现,使用单台服务器来提供服务,已远远不能满足网络带宽的增长。 通过把网络负
随着计算机网络的迅猛发展,它正影响着社会的各个方面,网络安全日益成为人们关注的焦点.人们不仅仅需要系统具有信息保护的能力,而且需要系统在遇到攻击时具有入侵检测和快速
作为推动今后网络发展的一项核心技术,网络处理器越来越受到集成电路产业界的关注,国内外的许多公司和研究机构纷纷展开了网络处理器的相关研发。网络处理器是一种全新的基于网
随着信息社会的到来,多媒体技术的发展和信息高速公路计划的实施使人们越来越多地接触到大量的多媒体信息,同时每天又有大量的信息在不断地产生.如何对大量的多媒体信息组织
论文论述了电子邮件的现状和背景,发展趋势,分析了现在电子邮件的特点,以及电子邮件系统开发过程中出现的问题。文章学习和研究了电子邮件的原理和协议等知识,并在此基础上研究了
随着中国铁路的迅速发展,其给国家带来的巨大社会效益和经济效益有目共睹,但随着铁路现代化建设的发展有些方面还不是很完善.目前在铁路上,机务段设置的调度命令都是通过手工
该文主要涉及两个方面,首先藉由对信令网演进的研究,对当前存在的电路信令和IP网络中的信令进行了考察,并对将来信令网的发展和融合提出了自己的观点.描绘了以业务与呼叫控制