图像重定向与质量评价

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:lhz19700717
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动设备的普及和立体显示技术的发展,人们已不再满足于视觉上的可获得性,而更加追求视觉上的高享受性。图像重定向因其能够自适应地调整多媒体内容以满足不同终端的需求,而被广泛关注和研究。为了在满足设备显示硬需求的同时,兼顾用户视觉体验的软需求,质量评价往往被许多成熟的产业链考虑在内。因此,本文讨论图像重定向和质量评价之间的辅成关系。一方面,研究图像重定向的质量评价;另一方面,研究质量评价指导下的图像重定向技术。关于立体图像重定向的研究相对匮乏,亦没有公开的数据集。为了填补这块空白,我们建立了首个立体重定向图像的主观数据集SIRD。其涉及单算子、多算子在内的四种典型的立体重定向方法,包含图像质量、视觉舒适度、深度感和总体质量在内的四种立体感知评价维度,有着较强的代表性和较高的置信度。为了评估用户在观看立体重定向图像时的安全性,模拟人眼系统的双目感知机制,我们设计了首个基于混合失真聚合的视觉舒适度评价模型Hi-VCA。针对立体重定向中经常出现的结构失真、信息丢失、双目冲突和语义失真,我们分别设计了四种度量以全面地描述重定向对舒适度的影响。尤其是在双目冲突度量中,我们考虑包括视觉舒适区、双目竞争、窗口冲突和聚焦辐合冲突在内的异常双目感知机制,以更彻底地分析诱导视觉不舒适的因素。最后,实验结果表明,Hi-VCA模型不仅对于立体重定向图像,而且对于普通立体图像,均有着较好的舒适度评价能力,这在相关模型中极具竞争力和实用性。为了解决质量评价中数据量少、标注成本高这一难题,我们提出了基于主动学习的质量评价方案。对于传统的质量评价模型,我们设计了基于聚类的采样策略。而对于基于深度学习的质量评价模型,我们首先设计了一个双路的立体图像质量评价网络,然后提出了基于感知相似性的采样策略。实验结果表明,尽管缩减大约一半的标注代价,但能实现与使用所有样本点相媲美的性能。为了实现质量评价对图像重定向的反向优化,我们设计了基于强化学习的质量感知的多算子图像重定向框架SAMIR。首先,我们将多算子重定向任务模拟成马尔可夫决策过程。然后,提出了语义和美学感知度量作为强化学习中的奖励函数,一方面保证图像信息的正确传递,另一方面保证图像的视觉质量。最终,在不需要任何标注数据和低复杂度的情况下,实现了多步算子的自适应选择。SAMIR框架亦给用户提供了一定的创作空间,通过设计动作空间,调整重定向方向和比例,可以根据需求实现更为多样化的效果。
其他文献
新课程标准、新教材要求教学要“以人为本,发展个性”,这是新时期语文教学发展的方向,是素质教育的需求,也是培养现代化建设人才的根本要求。语文教学的个性化艺术对发展学生的个
近年来,随着信息自动化处理技术的高速发展,个人信息之保护成为我国法学界关注的热点问题。我国现对医疗健康信息相关法律问题的研究较少,对劳动者医疗健康信息保护问题的研