基于GAN网络潜变量的全景视频自适应流研究

来源 :宋彩霞 | 被引量 : 0次 | 上传用户:second5201314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
全景视频能够提供丰富的全方位场景信息,为用户提供交互感与沉浸感。但全景视频需要达到4K及以上的分辨率才能满足用户的观影需求。因而与传统视频相比,全景视频需要更大的存储量与传输量。为了支持交互性能,目前的全景视频自适应传输方法是事先将全景视频下采样或量化获得不同码率的视频内容,再依据实时的网络带宽值来选择合适的视频内容传输。但该方法未考虑不同码率的视频内容对于重建质量的影响,导致利用该视频内容重建的图像质量无法获得率失真最优化的结果。近年,由于基于深度学习的视频重建越来越流行,为上述问题提供新的解决思路。本课题的主要研究内容如下:(1)针对目前全景视频的自适应传输方法中,不同码率的视频版本无法获得率失真最优化的重建效果的问题。本文提出了基于GAN网络潜变量的率失真优化算法。首先,本文从视频帧之间的时域与空域的相似性内容出发,受对极平面图启发,创造了能够体现全景视频时空域相似性内容的时空域相似图;GAN网络具有优秀的生成能力,同时多层卷积网络能够提取原始图像比较抽象的特征。为此,本文构建了多层卷积网络与GAN网络相结合的联合网络,并称之为LVAS(latent variables of GAN)网络。该网络通过输入时空域相似图训练,可以提取全景视频的低码率数据以及学习时空域相似性内容来提升重建质量,并将提取出的低码率数据称之为潜变量;最后,为了实现潜变量的比特率与图像质量之间的折衷优化,我们构造了LVAS网网络中基于率失真优化的损失函数,以提高全景视频的编码效率。(2)针对目前全景视频的自适应传输方法中,传输的数据码率有可能远低于连续变化的网络带宽,导致浪费带宽的问题。本文提出了基于GAN网络潜变量量化的码率控制方法。为解决潜变量码率与带宽适配问题,需要控制潜变量码率的大小。在构建的潜变量学习模型中,我们引入了量化参数对潜变量进行编码,以达到控制潜变量码率的目的;由于调节量化参数可以控制潜变量的码率,进而可以实现潜变量码率自适应带宽的变化。因此本文构建了量化参数与潜变量码率之间的关系模型,并应用于潜变量的率失真代价函数中,使得潜变量码率适配带宽同时保持重建质量最优。实验部分在六个全景视频序列上进行测试实验,并将提出的基于GAN网络的全景视频自适应流方法与最新的基于两个全景视频自适应流方法比较,结果表明提出的方法相对于两个前沿方法在率失真性能上BDBR上平均节省了56%的比特率,PSNR均值上有了2d B提升。在码率控制算法方面,在同等带宽情况下,V-PSNR均值上有1.53d B的改善。
其他文献
学位
1959年3月至1965年9月,西藏社会经历了从平叛改革、稳定发展到西藏自治区成立,深刻的社会变革确立了民族区域自治制度,作为建立马克思主义主流意识形态的工具,媒体宣传是中国共产党和中央人民政府实施文化领导权的重要领域。在这段时期,西藏地方的媒体宣传工作是平叛改革、稳定发展工作和建立西藏自治区不可缺少的一环。报纸、广播和电影这三种宣传媒介,在平叛、改革以及贯彻执行“稳定发展”方针中都发挥了巨大的宣
学位
汽车数量的增长与违规行为激增给道路安全带来巨大挑战,要实现道路安全稳定的运行,车辆违规行为检测已成为必不可少的技术手段。针对传统的视频车辆行为检测算法存在易受光照等环境因素的影响、机器学习等算法需高端嵌入式设备等不足,而雷达环境适应能力强但无法感知车辆外观特征。雷达与视频检测方案的结合,能提升目标行为检测能力,已成为交通监控领域的研究热点。本文在分析雷达、视频检测方案各自优势的基础上,研究了雷达视
学位
对人的本质的探索,从遥远的古希腊时期开始就是众多哲学家研究的重点,西方传统哲学虽然对人的本质的研究有其根据,但大多都受制于传统本体论角度,无法对人的本质进行真正揭示。马克思全面地揭开蒙蔽人真正本质的神秘面纱,他对人的本质的分析和重要论断都表现出与以往旧哲学的根本区别,他将实践生成的思维引入自己的哲学研究,从人的现实活动中思考人的本质。当然马克思的人的本质理论也并不是一蹴而就的,而是经过了动态发展的
学位
学位
学位
作为当代藏族文学的代表性作家,次仁罗布饱含激情地对西藏故事进行书写,在小说创作领域取得了丰硕的成绩,收获了众多文学奖项。次仁罗布坚守着本民族的文化身份,着重关注和体察普通人的生存境遇。他在作品中塑造了众多善良、豁达、美好的人物形象,在对西藏日常性和世俗性生活的描绘中,呈现出古老、厚重的西藏人文历史和民族文化风貌。他的小说关注世俗人生,探照出对话人心灵世界的精神力量,在直面现实欲望的同时,呈现神性的
学位
学位
清末民初学者单毓年编著的《西藏小识》是清末较为重要的一部具备地方志性质的笔记汇编,全书四卷,二十篇(含序)。《西藏小识》因其特殊的成书方式和编纂体例,成为清末民初较有代表性的西藏方志之一。其是典型的“时务策”方志,全书提倡“治藏稳边”,具有很大的学术价值和时代价值,值得深入研究。本文一共分为五章及附录。第一章为单毓年生平家世考,考察了单毓年的生卒年及其家世、单毓年早年求学及参与格致书院课考的经历,
学位
边坡稳定性分析是边坡工程研究的核心问题。在实际边坡工程中,通常使用专业人员绘制的二维地质剖面图展示边坡内部土层的分布情况,这种方法因简单实用一直在工程项目中得到广泛应用。但二维地质剖面图反映的地层情况相对局限,难以准确区分实际边坡工程中的危险区域和稳定区域,不利于分区治理。为此,本文主要进行了以下研究:一是依托GIS平台建立边坡的三维可视化模型;使用自行开发的Python程序实现任意目标剖面信息的
学位