3D节目制作中的视觉舒适性提升方案研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:hn_hcg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前主流的3D立体显示技术采用基于双视点图像的的平面立体呈现手段,左右视图中引入的水平视差带来了观看者对于场景深度的体验。然而,随之出现的3D内容观看者的视觉疲劳与舒适性下降的现象也引发了广泛关注,并且正成为阻碍3D节目推广的重要因素。总的来看,影响3D视觉舒适性的因素分为两类:一类是在3D节目拍摄过程中由于环境、硬件因素或人为操作不当引入的误差,包括垂直视差、左右眼视图时域不同步等;另一类源于3D显示技术与人眼视觉机理本身的固有矛盾,如过度视差值导致的人眼辐辏-焦距调节矛盾的加剧、边框效应导致的双目视像融合困难等。针对各类3D视觉舒适性影响因素,设计行之有效的3D节目舒适性制作方案,是当前3D电视应用的重要工作。本文首先提出3D节目舒适性提升整体框架,并以Adobe After Effects视频非线性编辑软件的滤镜插件形式进行实现,以完成3D舒适性制作的一系列预处理工作。插件通过极线校正去除垂直视差,通过右视图帧时域平移调整左右视图同步性,通过左右视图的平移和缩放来实现视差调整和取景窗口的个性化设置,可通过关键帧设置的方式实现多帧调整参数的平滑过渡,并兼容逐行扫描格式和4K分辨率视频。在此基础上,为了对3D节目关键帧的深度调整参数提供指导,乃至最终实现自动化调整,本文进一步研究基于3D图片舒适性评价模型的3D视觉舒适性提升算法。首先,本文建立多显著区域3D图片舒适性评价算法。在3D图片舒适性的影响因素方面,已有一定数量的研究成果,但考虑多显著区域空间特征与视差跳变特征的舒适性预测模型还很少被提及。而在试验中我们发现,考虑到人眼观看多显著区域时的视线轨迹和人眼辐辏调节的特点,这些特征与观看者舒适性体验具有内在的联系,本文由此展开研究。具体而言,本文基于3D图片显著区域,提出显著区域视差分布特征、显著区域间视差跳变特征、显著区域周边视差跳变特征、显著区域空间分布特征与显著区域宽度特征等五类显著区域相关视觉特征。同时,为了有针对性地探究上述特征与视觉舒适性的关系,本文建立多刺激立体图片库MSID,并基于该图片库开展主观舒适性评价实验。最后,本文基于支持向量回归SVR算法构建视觉舒适性预测模型。结果表明,本文所述各类特征较传统全局视差分布特征而言,在舒适性模型构建效果上能够实现增益。最后,本文提出基于舒适性评价模型的3D图片舒适性提升方法。总体来说,该方法包含两个步骤:3D视觉舒适性模型训练,和基于舒适性模型的视差调整。在3D视觉舒适性模型训练方面,本文在上述基于多显著区域分析的3D图片舒适性评价算法基础上,筛选有效特征加入模型。对于3D图片感兴趣区域的提取,本文采用基于深度图分割的前景区域提取方式,结合2D图片显著区域提取结果,得到3D图片的感兴趣区域。而在视差调整方面,本文采用图片平移这一最基本和最普遍的做法,通过对平移量的一维搜索来寻找模型的局部最优解,从而确定平移量。与此同时,搜索范围被施加特定的限制,以避免过度视差值引发视觉辐辏-焦距调节冲突(A-C Conflict)的加剧,以及图片边界附近交叉视差引发深度线索冲突(Depth-cue Conflict)的加剧。为追求客观性和普适性,模型的训练和视差的自动调整均基于IVY LAB 3D图像库这一包含丰富场景的公开图像库来进行。最后,本文开展主观测评实验,对调整前后的图片进行成对比较。实验结果表明,该方法达到的3D图片舒适性提升效果满足预期。
其他文献
在气候变暖的大背景下,多数陆地地区的极端气候事件频率和强度都呈现上升趋势,研究长江流域极端降水的时空变化特征及区域频率,可以为流域内的防洪减灾工作提供参考。本文基
力学反问题具有广泛的工程背景和学术价值。力学反问题主要包括确定未知物性参数、识别边界几何形状、求解未知边界条件和缺陷检测等几种反问题。这几类问题一般是不满足适定
正交频分复用(OFDM)技术自上世纪六十年代诞生于美国贝尔实验室,现已广泛运用于有线和无线通信中并成为了长期演进技术升级版(LTE-A)的标准。而将OFDM技术运用于光网络,并得益于
联络口译是应用最为广泛的一种口译形式,与会议口译相比,联络口译正式性相对较低,因此也更为灵活。在联络口译过程中,译员处理信息时往往会发挥自身主观能动性。然而,在口译实践中,译员可能会质疑这一做法是否符合译员职业道德。产生质疑的原因在于,传统的译员角色要求译员遵守绝对忠实的原则。而随着口译相关研究的发展,译员逐渐找到了自身作为“人”而非“机器”的角色。在这些角色当中,基于传播学“把关人”理论而出现的
随着现代计算机视觉技术的不断发展和硬件计算能力的不断提高,人脸识别相比于指纹识别等其他生物特征识别技术,由于其非侵扰、高效率、友好性等诸多优势,已广泛应用于电子商
WiFi技术得到广泛应用,除了作为方便的短距离无线通信方式,还可以用来实现神奇的无线感知。近年来,基于商用WiFi设备获取的信道状态信息(Channel State Information,CSI)的各
近年来,SQL注入漏洞一直被国际OWASP(Open Web Application Security Project)组织列为Web应用高危安全漏洞之一。面向SQL注入漏洞检测的恶意数据生成成为学术界和产业界研究
当下,深度学习可解释性是最前沿且重要的科研难题之一。可解释深度学习中许多问题都可以归结为高维概率分布转换,如工程中应用广泛的生成模型、领域自适应等。目前可以计算高
三维场景重建广泛地应用在移动机器人、无人机、无人驾驶、增强现实和虚拟现实等领域,有着重要的科研价值和应用意义。通过视觉同步定位与地图创建(SLAM)来进行三维场景重建
作为改革开放最先进的城市—深圳,经过40年的快速发展,当年的小渔村已成为中国最大的城市之一。因改革开放初期粗犷式发展,之前的城市规划已无法满足现代城市的发展需求,原广