论文部分内容阅读
全景视频可以为用户提供360度的视频内容,带来沉浸式的观看和交互体验。然而从云端服务器传输一段高质量高分辨率的全景视频到用户端所消耗的网络带宽是极其巨大的,并且由于某一时刻只有部分的视野区域可以被用户观看到,云端发送全视角高质量的全景视频实质上是对带宽的一种浪费。因此,本文针对全景视频的高效编码与传输方案进行了深入研究。一方面,本文利用HEVC编码标准中Tile可独立编解码的特性,提出了一种多质量级Tile选取方案,基于线性回归模型预测用户注视点运动路线,再结合质量偏差反馈为全景视频不同区域的Tile选取不同的编码质量后传输。相较于全视角传输单一质量Tile方案,本文方案在相等客观质量下平均可以节省12.16%的码率,最高的序列可以节省近30%。另一方面,多质量级Tile编码与传输方案需要实时地获取真实用户的观看行为并进行预测,因此编码性能与用户端观看行为紧密相关。本文进一步探索在无需获取真实用户观看注视点的前提下,对虚拟用户观看全景视频不同区域的感兴趣程度进行预测。本文所提出的基于混合密度网络的虚拟用户观看注视点概率分布预测模型MDNP,相较于一种基于视频内容显著性对虚拟用户观看注视点位置进行预测的模型DHP具有更好的预测性能,本文方案所预测的概率分布图在批量用户的真实观看路径显著度上提升了0.21。根据预测的概率分布,本文进一步建立了观看概率值与量化参数的映射关系,实现全景视频的质量非均匀分配编码。基于MDNP模型和DHP模型的预测结果进行编码,本文方案相比基于DHP模型的方案在相等客观质量下平均可以节省0.72%的码率。此外,对本文实现的两种高效编码方案进行了比较,相较于多质量级Tile编码与传输方案,基于观看注视点概率分布的质量非均匀分配编码方案在相等客观质量下平均可以节省33.67%的码率。最后,对全文进行了总结与展望。对多质量级Tile编码与传输方案和基于观看注视点概率分布的质量非均匀分配编码方案的优缺点和应用场景进行了简要讨论。