论文部分内容阅读
当下,由于智能设备的普及和移动网络的快速发展,我们周围充斥着各种各样监控和直播视频。人们观看视频不但可以丰富自己的业余生活,也可以从视频中获取大量的知识,因此视频在人们的生活中扮演着越来越重要的角色。但是,视频在录制、压缩编码、传输等过程中往往容易会产生失真,视频质量的好坏直接影响到人们对视频的主观感受。当判断视频质量作为一项人为工作时,费时费力且受主观影响,因此需要计算机对视频进行客观质量评价。在客观视频质量评价中,当前大部分研究学者都采用传统的手动提取特征,利用浅层学习机去预测视频质量分数,这样分阶段手动提取特征导致其结果并不太理想。随着深度学习的发展,越来越多的研究学者开始使用深度学习去解决图像质量评价。由于视频质量评价相比较于图像质量评价有较多难点,需要同时考虑视频时序、样本少等原因,导致这方面的研究相对较少。但是出于卷积网络在特征提取方面有出色的表现,所以本文克服上述问题使用深度学习的方法来研究视频客观质量评价。本文的研究的内容与成果总结如下:(1)提出了一种基于时空域特征提取的无参考视频质量评价方法。该方法考虑视频帧的时空域特征,首先使用帧差图来提取因抖动导致视频质量下降的时域特征,帧差图上利用卷积神经网络提取失真视频的时空域特征,然后使用PCA对特征进行降维处理,最后使用Xgboost对特征进行线性拟合得出视频最终的客观质量评分。在现有的视频质量评价数据库中的实验显示,本章的方法能够很好的预测视频质量的好坏。(2)提出了一种基于迁移学习的无参考视频质量评价方法。该方法避免了分阶段视频质量评价的繁琐,采用端到端的网络结构进行视频质量评价。在实验中,首先构建端到端的卷积神经网络,迁移VGG-16卷积层的参数,达到加快收敛和缩短训练时间的目的,然后对视频帧做切块拼接等处理,最后将拼接好的样本送入网络进行端到端的拟合。本章方法能够避免分阶段寻找特征,然后进行回归预测,有效的提高视频质量评价的精度。经过现有视频质量库的实验数据显示,能够很好的与人眼达到很好的主观一致性。(3)提出了一种基于循环神经网络的无参考视频质量评价方法。该方法很好的解决了视频时空域特征的提取。本实验是在方法(2)的基础上进行改进,迁移VGG-16卷积层参数后构建循环神经网络,即卷积网络用于提取空域信息,循环神经网络用于提取时域信息。两者的结合,在视频质量评价库中实验结果来看,能够很好的反映视频的主观得分情况,且本章方法同样是端到端进行训练和预测,提高了预测精度。