论文部分内容阅读
【摘 要】本文提出的基于固定视频的马赛克检测实现方法,实现对视频马赛克进行高效准确地自动化检测。
【关键词】固定视频;检测实现
引言
在传统机顶盒中,TUNER性能测试的主要判断依据是视频马赛克,在OTT和IPTV机顶盒中,视频播放马赛克是检验机顶盒内存性能、软件可靠性的重要测试依据。因此,视频马赛克检测十分重要。但是由于马赛克出现时机随机、图形不规则,特别是对于有后处理功能的机顶盒,进行图像修复后马赛克的形状更加复杂。导致了马赛克自动化检测一直是行业的一个痛点和难点。
1.现状
研究人员曾经利用边缘检测直线和矩形的方法来判断马赛克,但由于边缘检测本身有其局限性,导致视频内容中直线和棋盘、窗户等规则图像容易被误判,同时部分复杂的图像内容中的马赛克容易被漏检。也有采用马赛克特征预先分析和深度学习的方式对马赛克特征值進行分类和学习,但是由于视频图像的复杂性和马赛克进行叠加以后的形成的最终图像更加复杂,导致先行学习的特征完全对不上。
因此,目前行业中基本上都是采用人工判断的方式进行视频马赛克测试,效率低,成本高,漏检和误检率也居高不下。
2.解决措施
本文提出的基于固定视频的马赛克检测实现方法,实现对视频马赛克进行高效准确地自动化检测。如图一所示。
a.准备一段经过预处理的视频,所述预处理为:为视频的每一帧图像添加时间戳;为每一秒视频设置一个二维码,使得每一秒视频中的每一帧图像具有相同的二维码;
b.提取该段视频中各帧图像的特征值并存储,形成标准特征库;
c.在进行马赛克检测时,利用待测设备播放该段视频,通过计算机实时抓取视频图像进行图像采集;
d.计算采集的图像的特征值,并与标准特征库中的特征值进行比对,从而判断视频是否出现马赛克。
作为进一步优化,步骤b中,对视频中的各帧图像进行以下处理,以提取各帧图像的特征值:
b1.缩小尺寸:将图像缩小到8*8;
b2.简化色彩:将图像转化成灰度图像;
b3.计算DCT:计算图片的DCT变换,得到32*32的DCT系数矩阵;
b4.缩小DCT:只保留DCT系数矩阵左上角的8*8规模的DCT系数矩阵;
b5.计算平均值:计算DCT的均值;
b6.计算特征值:设置所述8*8规模的DCT系数矩阵的64位hash值作为该图像的特征值:对于8*8规模的DCT系数矩阵,将矩阵中大于等于DCT均值的值设为“1”,将小于DCT均值的值设为“0”;
在提取到各帧图像的特征值后,将各帧图像的特征值与对应帧的时间戳和二维码进行关联存储在数据库中,从而形成标准特征库。
作为进一步优化,步骤c中,所述计算机通过HDMI采集卡抓取待测设备的相应接口向计算机输出的视频图像来进行图像采集。
作为进一步优化,步骤c中,所述待测设备为传统机顶盒或IPTV或OTT机顶盒;所述利用待测设备播放该段视频的方法是:
对于传统机顶盒,通过高频头接收码流播放器调制的DVB信号,通过解调和解复用获取视频数据后进行解码播出;对于IPTV和OTT机顶盒,可将视频以文件方式存储在机顶盒内部存储器或者外部存储器中,通过机顶盒内置的播放器进行播放输出。
作为进一步优化,步骤d中,所述与标准特征库中的特征值进行比对,具体包括:
根据采集图像的二维码和时间戳在标准特征库中查找对应帧的特征值与所述采集图像的特征值进行匹配,若不能匹配的特征的个数超过一定阈值,则判定该采集图像出现马赛克。如图2所示
提取视频中各帧图像的特征值并存储,在机顶盒播放视频的过程中抓取机顶盒输出的图像,计算当前图像的特征值,并跟预先存储的特征值进行比对,来判断视频是否出现马赛克缺陷。采用这种方式进行马赛克检测,检测效率高,漏检和误检率非常低,完全满足行业检测需求。同时可作为自动化检测工具,可进行长时间、大规模烤机,对机顶软硬件质量检测非常有效。
作者简介:靳国荣(1982-),男,河南西平人,工程师,研究方向为数字电视、机顶盒、图形图像。
【关键词】固定视频;检测实现
引言
在传统机顶盒中,TUNER性能测试的主要判断依据是视频马赛克,在OTT和IPTV机顶盒中,视频播放马赛克是检验机顶盒内存性能、软件可靠性的重要测试依据。因此,视频马赛克检测十分重要。但是由于马赛克出现时机随机、图形不规则,特别是对于有后处理功能的机顶盒,进行图像修复后马赛克的形状更加复杂。导致了马赛克自动化检测一直是行业的一个痛点和难点。
1.现状
研究人员曾经利用边缘检测直线和矩形的方法来判断马赛克,但由于边缘检测本身有其局限性,导致视频内容中直线和棋盘、窗户等规则图像容易被误判,同时部分复杂的图像内容中的马赛克容易被漏检。也有采用马赛克特征预先分析和深度学习的方式对马赛克特征值進行分类和学习,但是由于视频图像的复杂性和马赛克进行叠加以后的形成的最终图像更加复杂,导致先行学习的特征完全对不上。
因此,目前行业中基本上都是采用人工判断的方式进行视频马赛克测试,效率低,成本高,漏检和误检率也居高不下。
2.解决措施
本文提出的基于固定视频的马赛克检测实现方法,实现对视频马赛克进行高效准确地自动化检测。如图一所示。
a.准备一段经过预处理的视频,所述预处理为:为视频的每一帧图像添加时间戳;为每一秒视频设置一个二维码,使得每一秒视频中的每一帧图像具有相同的二维码;
b.提取该段视频中各帧图像的特征值并存储,形成标准特征库;
c.在进行马赛克检测时,利用待测设备播放该段视频,通过计算机实时抓取视频图像进行图像采集;
d.计算采集的图像的特征值,并与标准特征库中的特征值进行比对,从而判断视频是否出现马赛克。
作为进一步优化,步骤b中,对视频中的各帧图像进行以下处理,以提取各帧图像的特征值:
b1.缩小尺寸:将图像缩小到8*8;
b2.简化色彩:将图像转化成灰度图像;
b3.计算DCT:计算图片的DCT变换,得到32*32的DCT系数矩阵;
b4.缩小DCT:只保留DCT系数矩阵左上角的8*8规模的DCT系数矩阵;
b5.计算平均值:计算DCT的均值;
b6.计算特征值:设置所述8*8规模的DCT系数矩阵的64位hash值作为该图像的特征值:对于8*8规模的DCT系数矩阵,将矩阵中大于等于DCT均值的值设为“1”,将小于DCT均值的值设为“0”;
在提取到各帧图像的特征值后,将各帧图像的特征值与对应帧的时间戳和二维码进行关联存储在数据库中,从而形成标准特征库。
作为进一步优化,步骤c中,所述计算机通过HDMI采集卡抓取待测设备的相应接口向计算机输出的视频图像来进行图像采集。
作为进一步优化,步骤c中,所述待测设备为传统机顶盒或IPTV或OTT机顶盒;所述利用待测设备播放该段视频的方法是:
对于传统机顶盒,通过高频头接收码流播放器调制的DVB信号,通过解调和解复用获取视频数据后进行解码播出;对于IPTV和OTT机顶盒,可将视频以文件方式存储在机顶盒内部存储器或者外部存储器中,通过机顶盒内置的播放器进行播放输出。
作为进一步优化,步骤d中,所述与标准特征库中的特征值进行比对,具体包括:
根据采集图像的二维码和时间戳在标准特征库中查找对应帧的特征值与所述采集图像的特征值进行匹配,若不能匹配的特征的个数超过一定阈值,则判定该采集图像出现马赛克。如图2所示
提取视频中各帧图像的特征值并存储,在机顶盒播放视频的过程中抓取机顶盒输出的图像,计算当前图像的特征值,并跟预先存储的特征值进行比对,来判断视频是否出现马赛克缺陷。采用这种方式进行马赛克检测,检测效率高,漏检和误检率非常低,完全满足行业检测需求。同时可作为自动化检测工具,可进行长时间、大规模烤机,对机顶软硬件质量检测非常有效。
作者简介:靳国荣(1982-),男,河南西平人,工程师,研究方向为数字电视、机顶盒、图形图像。