论文部分内容阅读
随着网络技术的迅速发展,在消费者数据终端上显示的图像通常不仅仅是自然图像(Natural Image,NI),而是包含自然图像、文字、表格等各种计算机生成组件的复合图像,这种由计算机渲染生成的图像称之为屏幕图像(Screen Content Image,SCI)。根据多年来的研究表明,屏幕图像相比于自然图像,有着截然不同的图像特征,产生这种结果的原因是屏幕图像有着比自然图像更加复杂的结构。采用传统的图像质量评价模型很难准确地预测屏幕图像的质量,原因是传统图像质量评价模型通常是针对自然图像进行设计,在预测结构更加复杂的屏幕图像的质量时不会取得优秀的结果。因此设计具有优秀性能的屏幕图像质量评价模型具有重大意义。本文根据屏幕图像中差异区域的不同结构特征,提出了基于多种人工特征融合的屏幕图像质量评价卷积神经网络模型(Convolutional Neural Networks-Multiple Artificial Features,CNN-MAF)。该模型首先根据基于图像活跃度(Image Activity)的索引图,将屏幕图像区分为两部分,即文本区域和图形区域;运用两个卷积神经网络(Convolutional Neural Networks,CNN)分别对两部分区域进行质量预测,这两个CNN具有相似的架构,但是分别加入了不同的人工特征进行融合;分别得到两部分区域的预测得分后,采用基于图像活跃度的自适应加权策略,得到屏幕图像的预测分数。在两个主流的屏幕图像数据库上的实验结果显示该模型(CNN-MAF)具有优异的性能表现,比大多数图像质量评价模型更符合主观评价结果。本文提出的模型创新成果体现在:1.运用图像活跃度作为区分屏幕图像差异区域的依据,根据由图像活跃度生成的索引图将图像,将屏幕图像区切割为若干相同尺寸的图像块,尺寸的大小适合CNN模型学习。2.设计的端到端CNN模型以图像块作为输入,该图像块的预测得分作为输出,用两个CNN分别对两部分图像块进行训练预测。3.两个CNN分别加入了不同的人工提取的特征,与深度学习特征进行融合后,提升预测效果。4.根据图像活跃度,设计一种自适应的加权方式,对质量图进行加权融合得到最终预测得分。