多版本视频云点播系统资源优化调度方法研究

来源 :西安交通大学 | 被引量 : 0次 | 上传用户:gyivan0513
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着无线通信技术和智能移动终端的成熟和普及,在线视频点播服务发展迅速,通过移动终端点播视频已经变的越来越流行。由于移动设备和接入网络带宽的异构性,视频服务商只提供一种版本的视频流服务无法应对用户不同的需求,多版本视频点播应运而生。然而,多版本视频点播系统面临着视频存储、服务器性能、缓存效率等多方面的挑战。云计算拥有海量数据存储、计算能力和动态可伸缩的扩展能力,有助于应对视频点播遇到的挑战,降低视频点播系统的运营成本。然而,现有的视频云点播方法并未针对多版本视频的特点和挑战展开研究,因而还有一定的优化空间。因此,如何优化多版本视频云点播系统的资源管理已成为该领域面临的重大挑战之一。本文以云计算技术为背景,针对多版本视频云点播系统面临的挑战,在多版本视频存储、虚拟机集群部署和多版本视频缓存等方面对系统资源优化调度方法展开了深入的研究,主要研究贡献如下:
  第一,提出了一种多版本视频云点播存储与转码权衡方法,该方法结合离线转码方法和实时转码方法,并根据视频点播热度模型,权衡多版本视频的存储与转码计算,从而降低系统的存储与转码计算成本。首先,该方法引入转码权重图描述不同版本之间的转码权重关系。根据转码权重图,可计算不同版本之间的转码计算量。其次,该方法以视频点播热度分布、转码权重图、云平台的存储与计算价格模型为依据,建立多版本视频云点播存储与转码成本优化模型。再次,采用拉格朗日松弛算法求解该优化模型,实现少量热点视频存储多个版本来应对大量的点播请求,针对大部分的非热点视频,仅存储一个或少个版本,以减少大量的视频存储。实验与分析表明,与其它方法相比,所提方法可以有效降低多版本视频云点播系统的存储与转码成本,优化存储服务器的资源利用效率。
  第二,提出了一种基于动态性能评测模型的虚拟机部署方法,该方法针对多版本视频云点播中部分版本存储部分版本转码的特点,为虚拟服务器集群分配合适的资源,并根据物理机负载情况和性能模型,来部署虚拟服务器集群,以尽量保障虚拟机的性能。首先,虚拟机部署前,根据多版本视频云点播系统的带宽需求及转码任务,分析用户历史点播行为日志,利用排队论理论建立多版本视频云点播中虚拟服务器集群资源分配模型,为虚拟机集群分配所需的资源。其次,虚拟机部署时,考虑物理机上资源消耗量与虚拟机性能的关系,通过动态性能评测方法建立虚拟机性能模型,以此为依据,并以平衡物理机资源消耗和最小化性能下降为目标,将虚拟机部署抽象成双目标优化问题,并给出了一种基于蚁群算法的求解方法。最后,实验与分析表明,与其它部署方法相比,所提虚拟服务器集群部署方法可以有效保障虚拟机的性能,使之更好地应对视频点播和视频转码,并优化了虚拟机集群的资源分配。
  第三,提出了一种面向多版本视频云点播的共享缓存方法,该方法利用多版本视频之间的转码关系计算缓存收益,并根据相同视频的不同版本的内容一致性和可共享性,采用缓存共享算法,优化了缓存方法,有利于支撑用户满意度的提升。首先,该方法根据多版本视频文件之间的转码关系,针对某一视频,计算缓存一个或多个版本情况下的单位缓存收益,作为缓存替换的依据。其次,根据多版本视频云点播中相同视频的不同版本之间的内容一致性和可共享性,提出共享缓存调度方法,具体包括缓存共享算法和版本跳转算法。当缓存服务器的可用带宽充裕时,缓存共享算法利用已缓存的相近的高版本视频临时响应用户请求;当缓存服务器的可用带宽不充裕时,通过版本跳转算法均衡缓存的带宽资源和缓存的空间资源消耗。实验与分析表明,与其它方法相比,所提缓存方法可以提高缓存效率,提高缓存命中率,并减小用户平均等待时长;另外,所提缓存方法也可以与其它缓存方法相结合,并能优化其它缓存方法的结果。
  最后,论文讨论了所提优化方法在多版本视频云点播原型系统中的应用,并给出了优化方法在该原型系统中初步的测试结果,验证了所提方法的正确性和可行性。
其他文献
一直以来,贫困问题都制约着世界上各个国家政治经济的全面发展,治理和消除贫困,也是各国政府长期以来面临的难题。建国后,我国政府更是高度重视贫困问题,始终把消除贫困摆在经济社会发展的重要位置,特别是在改革开放之后。我国历代领导人在遵循社会发展实际、总结前人经验以及不断实践的基础上,在不同的发展阶段中产生了独具特色的扶贫思想,连而贯之,形成了与中国国情相适应的扶贫开发理论体系。经过多年的扶贫实践,我国的
学位
网络虚拟财产是近几年随着计算机网络技术发展和网络游戏的风靡而诞生的一种新的财产形式。随着网络虚拟财产纠纷的增多,要求通过立法对虚拟财产进行保护的呼声日益提高,也越来越多地受到法学界的关注。本文对网络虚拟财产进行研究的目的是为网络虚拟财产立法做好理论上的准备,并对立法的主要内容提出一些构想和建议。首先,本文对网络虚拟财产的定义和范畴做了基本的界定,并分析了研究网络虚拟财产的意义和必要性。本文认为虚拟
从上个世纪90年代起,在全世界范围内掀起了第五次并购浪潮,大型并购可谓愈演愈烈。超大规模并购的频频发生,使世界经济格局发生了深远的变化。行业中新的大型跨国公司的不断出现,使行业内的竞争格局在全世界范围内发生巨大变化。中国加入WTO后,外资将更多地采用国际上流行的并购方式在我国设立企业,具体包括协议并购、通过产权交易市场并购、通过股票市场并购、通过股权转让及增资扩股方式并购等。联合国贸发会发表的《2
学位
非接触电能传输技术是一门新兴的能量传输技术,它集合了电力电子能量传输技术、磁场耦合技术以及现代控制理论。由于这种电能传输方式没有接触摩擦,可减少对设备的损伤,不会产生易引燃引爆的火花,解决了给移动设备特别是在恶劣环境下,工作设备的供电问题。在交通运输、航空航天、机器人、医疗器械、照明、便携式电子产品、矿井和水下应用等场合有着广泛的应用前景。本文对非接触电能传输技术进行了理论和实验研究。主要研究内容
学位
随着SF电气设备应用不断增多,对SF气体的质量监督日益重要。但是SF电气设备中的气体不可避免的含有杂质,在电弧作用下,这些杂质容易与SF气体的分解物反应生成毒性物质,从而腐蚀电气设备,降低设备绝缘能力。若杂质含量超标,将严重影响设备的电气性能、机械性能和开断性能,将造成许多严重的后果。本文论述了检测SF电气设备中SF气体分解物的重要意义,分析了国内外该方面研究的现状,从而提出对SF气体分解物检测系
近年来,深度神经网络在诸多领域受到了广泛的关注,如语音识别、计算机视觉和生物信息学等,比起目前机器学习算法,它提高在这些领域表达的性能。尤其是卷积神经网络在图像识别上表现出超凡的技术能力,超越了先前处理计算机视觉问题的方法,并且赢得了很多重要的比赛。随着大数据时代的到来,传统的机器视觉方法在一定程度上已不再能满足图像识别在处理大规模数据上的实用性和安全性的要求。深度学习成为图像识别的研究热点,取得
学位
复杂疾病的诊疗决策过程十分繁复,单个医疗角色无法对疾病进行准确和快速的诊疗决策,往往需要多个医疗角色参与其中共同作出决策。随着医疗信息化水平的提升,多角色共同参与的决策过程已不再受到地域的限制,而是可以在分布式网络环境中进行。如何在分布式环境中有效地组织、管理各种角色,让他们高效地交流、协作以作出正确的诊疗决策是分布式环境下医疗决策过程中最为关键的问题。为了更好地在分布式环境中组织和管理医疗角色,
互联网的不断更新变化,对整个世界产生了深远的影响。新技术的出现即改善了人们的生活,同时也带来了一定的挑战。不法分子为获得利益利用新技术实施犯罪,如侧信道攻击可通过对加密设备执行过程中功耗、频率和时间等的检测,进而获得设备执行过程中内部的重要信息,使得现有“安全的”密码方案的安全性所有降低。针对密钥管理与泄漏问题,将抗泄露与秘密共享技术相结合是主要解决手段之一。本文对泄漏条件下的秘密共享方案进行研究
学位
现在是一个信息数据爆炸的时代,随着各种移动终端以及互联网、车联网和智慧城市的发展,人们生活中的海量数据信息被记录下来。数据的迅猛增长,从数据的维度为人们提供了新的方式去解读世界,但与此同时海量数据的存储和处理也为人们带来了新的技术挑战。顺应时代需求而产生的大数据处理技术成了当今的热门技术,它不仅可以存储数百TB数据、甚至可以存储数百PB数据,同时它有hadoop的离线式计算框架、storm的流式计
学位
本论文作者以千年“密码”难题为切入点,以当代严酷的计算机网络安全问题为背景,以构造“不可破译密码”为主线,以“发现问题,提出问题,解决问题”为脉络,围绕提出并验证的“引子密钥理论体系”和引子密钥密码系统结构、算法设计以及相关密码攻击等问题展开。通过对现有密码体制的综合分析和深入研究,发现并论证了一次一密悖论;揭开了国际公认的“无条件安全”的“理想化”的一次一密密码,遇“潜在困难”而昏睡百年的谜团;