全景视频的投影转换及编码

来源 :北京交通大学 | 被引量 : 3次 | 上传用户:newhing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着虚拟现实技术的飞速发展,全景视频作为其重要应用之一,广泛应用到各个领域。全景视频优化了人们的视频观看体验,为生活带来极大的新意和便利,也为许许多多相关技术的进步带来更多机遇和挑战。本文围绕全景视频处理中非常重要的两个步骤——投影和编码展开,针对投影和编码过程的现有问题提出了有效的解决方案和相应算法,工作概述如下:(1)由于现有标准立方体与球面的投影转换性能仍存在提升空间,我们提出了一种后处理方法,以提升客户端解码后的全景视频质量。该方法将卷积神经网络(Convolutional Neural Network,简称CNN)和传统插值相结合以提高立方体到ERP(Equirectangular Projection,简称ERP)的转换性能。我们从投影特性入手,通过对立方体与球面的投影规律进行分析,推导出ERP上球面像素的最优边界阈值表达式,以达到阈值内外分别进行处理的目的,实验证明本方法可以很大程度地提升全景图像质量。同时,我们利用Marsaglia模型提出一种新的评价准则,使几何转换过程的评价更简单且更准确。(2)由于全景视频几何投影面边界处具有形变、内容不连续和断开等问题,为此,我们以立方体格式为例,提出了一种基于球面插值的padding填充方法,使得边界像素也有高质量的相邻像素,从而提升编码时边界像素的质量。Padding像素直接来自无损球面,使得padding与相接处内容连续且像素值更加准确,同时形变程度较小。由于球面是封闭的,且通过球面进行插值的方法比在立方体面处理更为精确,因此我们的方法更为普适和合理。实验结果表明,我们提出的算法在padding区域的主观质量上有更好的表现,与HEVC(High Efficiency Video Coding,简称HEVC)相比,该算法同时可以提升客观质量。(3)全景视频编码面临的最主要问题是形变,而现有方法没有预测全景视频形变的能力。为此,我们首次提出了一种基于球面帧旋转预测的全景视频压缩方案,增加预测形变程度更准确的预测帧作为参考帧,从而提升全景视频压缩性能。与已有2D视频神经网络未来帧预测方法相比,旋转预测帧的生成更加便捷、准确且快速;同时,该方案可以直接处理原始分辨率的全景视频,能够很好地契合每一帧视频的内容,方案还可以良好地兼容到传统视频编码标准中。实验表明,加入旋转预测帧后可以更加准确地预测下一帧形变,被参考比例较高,最终能够明显提高压缩性能。
其他文献
长江是我国东西向水运大动脉,随着“一带一路”政策和长江黄金水道建设的推进,船舶呈现大型化发展的态势,同时长江“中梗阻”问题也日益突出,为此长江中游大型人工水道的建设研究已提上日程。拟建的人工水道采用倾斜岸壁,水面宽度和水深存在一定的限制。就万吨级船舶而言,长江人工水道属于小断面系数的限制水域,航行于人工水道的万吨级船舶航行状态与无限水域情形迥异,待建长江人工水道与万吨级船舶相关性影响亟待研究。目前
目的:探讨血清叶酸、维生素B12检测在多发性骨髓瘤(Multiple myeloma,MM)诊断及预后作用的临床研究。方法:回顾性分析2017年1月1日~2019年12月31日于江苏省苏北人民医院收治的
红外光谱(IR)是定性、定量和结构分析的重要手段之一,红外技术操作简单、检测快速、需样品数量少,气液固几乎所有类型的样品都可获得其IR谱,加上IR光谱仪价格相对低廉普及率高,
地球近地空间是由岩石圈、大气层、电离层等多个动态圈层所组成的一个复杂的耦合系统。在这个空间中,地震被认为是对于人类社会最具破坏力的自然灾害之一。在构造应力的作用
1963年,Bose介绍了强正则图的定义.广义强正则图是强正则图的一个新的推广,2017年,Huo Lijun和Zhang Gengsheng首次提出了广义强正则图,证明了一些有限几何图族的次成分恰好
移动多跳自组网络无需预设固定设施,且具有临时组网、无中心节点、抗毁性强、动态拓扑等独特优势,无论在军事应用场合或是民事应用方面都有广阔的应用前景。而复杂的无线信道以及网络节点的无规则运动很容易导致接收信号产生深衰落,接收机大概率无法正常接收信号,网络节点间可靠数据传输就无法得以保证。而分集技术可以通过彼此不相关的信道传输相同的数据,并在接收端将这些信号进行有效的合并,利用分集增益提高系统整体的数据
关于苏北盆地的油气资源评价前期已进行过多轮油气资源评价,但仍存在一定的问题:以往划分的评价单元对高邮凹陷阜宁组的综合评价不多;未分层位对烃源岩的生排烃潜力进行研究,
本论文来源于“十三五”国家重大专项子课题《塔里木盆地奥陶系-寒武系有效烃源岩地球化学特征及油气源对比研究》。塔里木盆地下古生界海相碳酸盐岩优质烃源岩的发育和分布
目的:本研究探讨基于头颅CT影像组学特征及临床特征,预测无症状腔隙性梗死(silent lacunar infarction,SLI)患者发生症状性脑梗死的风险。方法:本研究中共纳入148例SLI患者,并提取了其基线头颅CT的影像组学特征。利用LASSO回归法对所有的影像特征进行降维分析和筛选,获得与预后相关的影像特征。然后,基于关键的临床预后因素建立模型ModelC,基于影像特征建立模型Mode
环境行政处罚决定信息公开是环保部门运用相对人行政处罚结果等负面信息进行行政管理的重要方式,集推进执法、行政监督、加强监管多元价值于一体。这类信息公开制度的演进大体呈现出由粗放到精细、由综合性到专门性的特点。公开实践中,环境行政处罚决定信息多以行政处罚决定书的形式主动公开,公开时限与《政府信息公开条例》和《环境信息公开办法(试行)》的规定基本一致。但由于现行法律规范位阶偏低,内容粗略而致约束力不足、