海量视频实时云转码系统设计与实现

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:jhwangseagull
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在视频应用普及的今天,电信网,电视网,互联网的整合催生的视频格式转换需求,以及视频应用本身存在的多格式,多平台,多编码标准,高清化,海量化的趋势越来越明显,使得现有的视频处理能力捉襟见肘。层出不穷的云计算技术的出现使得海量视频的处理不再困难,很多基于云的转码系统不断问世,但其中痼疾难除的问题在于视频任务的调度的效果并不能达到用户期待的效果,用户往往无法在可以容忍的时间内拿到转码完成的处理结果,实时转码方案呼之欲出。本文对业界出现的优秀的云解决方案openstack和hadoop进行了深入的介绍,结合它们本身平台和云转码业务的特点进行有针对性的介绍,在介绍云的成熟的分层结构之后,使用openstack构建系统的基础资源即IaaS层,处理计算和存储业务,使用hadoop完成应用平台层的设计,处理分布式转码业务,并使用成熟的消息队列RabbitMQ搭建进程间通信的共享消息平台。本文对于系统的设计和实现的介绍是基于系统的逻辑层次:控制层,业务逻辑层,资源层,以及四个部分:用户管理,镜像管理,集群监控,任务管理,还有独立的功能模块:计算处理模块,视频处理模块,消息模块。本文提出的使用openstack云工具搭建的可伸缩的云基础设施管理平台,使用hadoop构架的实时云转码系统,hadoop配置实时调度策略,使用RabbitMQ消息队列进行通信,能够承接多用户和海量视频的实时视频云转码系统,使用openstack的计算组件nova对资源池进行虚拟机节点的动态创建和销毁,保证系统在资源层高效和稳定,使用多级的容错处理和消息队列机制保证业务系统处理流程的正确性,让转码系统稳定运行。最终,在实验环境下搭建了openstack系统并在其上构建了hadoop集群,对云系统的资源动态伸缩能力和hadoop调度的实时性进行了一系列的测试,证实了系统的正确性和高效性。
其他文献
随着互联网的飞速发展,计算机技术在人们的日常生活中扮演着越来越重要的角色。计算机技术给人们日常生活送来便捷,但是,信息安全问题也变得越来越突出。计算机用户的信息隐
伴随着物联网浪潮的席卷而来,无线传感器网络(Wireless Sensor Network,WSN)技术得到了快速发展并日益成熟,无线技术走入了生活等各个领域,人们的生活方式正在发生着翻天覆地
在计算机系统应用研究过程中,为了避免由微小差错而引发的损失,这些系统在投入使用之前,需要根据系统属性进行建模,并对建好的模型进行分析与验证,以保证系统投入使用之前系
随着现代科学技术的不断发展,人们对高清逼真的视觉体验的追求越来越迫切,这就需要我们使用的摄像设备越来越高级,但是,相比于人类最直观的视觉感受,摄像设备有一定技术上的缺陷。
随着科技的发展和人们生活水平的提高,传统视频监控系统已满足不了生产和生活的更高需求。智能视频监控系统凭借其智能化、高实时性及高检测率等优势得到了广泛的应用。运动目
物联网(Internet of Things)被称为继计算机、互联网之后的世界信息产业第三次革命技术浪潮,是目前通信信息领域最热门的研究方向之一。伴随物联网应用的出现,信息安全问题接
学位
数据挖掘技术可以从海量数据中挖掘出潜在的、有意义的知识,而从海量数据中找到那些极少数的异常行为,并从这些异常行为中发现有意义的模式是一个富挑战性的工作。现实应用领
随着人类海上运输的发展,海上溢油事故就接连不断,海上溢油不仅给人类社会带来巨大的经济损失,并且带来不可估量的环境和生态影响。由于海洋溢油具有不可预见性和瞬时性等特
我们每天都在创造、传递和接收信息,信息在当代正处于空前膨胀的状态。面对处理如此海量的数据所带来的问题,专家学者和业界都在进行相关研究,其中重要的两个方向就是云计算