论文部分内容阅读
随着数字媒体设备的迅速发展和广泛应用,多媒体产品近年来呈现出爆炸式的增长趋势。由于在数字图像,视频处理的各个领域:采集、显示、存储、传输、压缩等都需要进行质量评价,因而吸引了越来越多的研究者投身这方面的研究。目前质量评价的方法大致可分为两大类:主观评价和客观评价。由于人类视觉系统是图像、视频的最终受体,因此主观评价的结果可信度是较高的。但是,这种评价方法比较耗时耗力。而客观评价的方法虽然较为智能,可以自动地进行,但是从本质上讲,它并不能完全捕获到人眼对图像、视频质量的感知。也就是说,客观模型给出的客观评价分数和人的主观感知之间是存在鸿沟的。因此,传统的主观和客观评价方法总是朝着互相弥补、而不是互相替代的方向发展。本文分别对这两个问题展开研究。具体地,本文的主要研究内容如下:
第一,提出了一种基于视频帧属性和心理学准则的视频质量客观评价的方法。一般地,在度量视频质量的时候,都是以视频内容作为基本的处理对象。但是,由于人类视觉系统是视频的最终受体,客观模型和人的主观评价之间总是存在鸿沟。为了缩减这个鸿沟,我们把视频帧的另外两个属性(位置、上下文)也考虑了进来。也就是说,我们同时考虑了视频帧的三个属性(内容、位置、上下文)。在描述内容属性时,我们提出了一种叫做质量团子(Quality Words,QW)的描述子。这种描述子除了融合了静态特征(亮度、对比度、结构)外,还融合了时空纹理信息。为了描述时空纹理特征,我们提出了一种3D旋转敏感(Rotation Sensitive3D Texture Pattern,RS-3D)描述子。对于位置和上下文属性,我们引入了两种心理学依据:顺序效应(Order Effect)和对比效应(Contrast Effect)。在VQEG Phase(Ⅰ) FR-TV test dataset上的实验结果证明了该方法的有效性。
第二,提出了一种基于随机部分成对比较的策略进行视频质量的主观评价。为了解决成对比较中测试者比较次数过多、负担太重的问题,我们提出的方法并不要求测试者做完全次数的比较,只要求他们从所有可能的测试对里随机选取一部分来比较即可,因而省时省力。与传统的任务拆分方法相比,我们提出的基于Erd(o)s-Rényi随机图的随机策略不但适合于在实验室环境下进行测试,更适合于网络众包下的测试。毕竟,在网络众包里,测试者是分散在互联网上的,我们很难通过精确的实验设计控制他们的测试流程。配合于几何拓扑学中的HodgeRank理论,我们可以方便地得到待测视频的质量得分。
第三,在第二点的基础上,为了验证HodgeRank的通用性,我们提出了一个通用的框架系统:随机图上的HodgeRank。详细讨论了两种常见的随机图:Erd(o)s-Rényi随机图和Random k-regular随机图。通过实验发现:这两种随机图指导下的采样模式都没有降低评价的准确率因而都很有应用前景。具体地,由于Random k-regular随机图固有的均衡属性,在采样率比较低的时候,它的实验性能要优于Erd(o)s-Rényi随机图。但是,随着采样率的增加或待测视频数量的增加,它们的实验性能越来越接近,使得Erd(o)s-Rénvi随机图这种基于I.I.D.(独立同分布)的采样模式几乎可以逼近隶属于依赖型采样的Random k-regular随机图的实验结果。
第四,尽管前面提到的HodgeRank这个框架系统下基于随机图的设计思路被证明适合于网络众包下的大规模测试。但是,从网络上收集数据的过程毕竟是个在线、分散收集过程。针对这种流式的数据,有必要发展一种在线进行质量评价的方法,通过新加进来的数据去逐步更新评价的精度。因此,我们提出了一种在线HodgeRank的框架系统来进行质量评价,这个框架是基于经典的Robbins-Monro方法设计的。理论和实验都证明:这种在线HodgeRank的方法不但效率高,而且能和批量HodgeRank的性能接近。通过这个方法,我们可以实时得到每个待评测对象的质量得分,并且能跟踪每个时刻不一致程度的值。