论文部分内容阅读
[摘 要]研究的主要内容是监控视频分析,并以异常行为检测为目标,详细的描述了监控视频技术在国内外的研究现状和发展前景,以及在现实生活当中的应用。为后面对监控视频技术的深入研究打下了坚实的基础。本文用帧间差分方法,即通过对连续两帧或几帧图像对应像素点灰度值的差值的计算,并将它与设定的阈值比较从而提取序列图像中的运动目标。
[关键词]智能视频 监控 智能化
中图分类号:TP 文献标识码:A 文章编号:1009-914X(2013)20-0618-01
智能视频监控
新一代的智能视频分析技术涉及图像处理、计算机视觉、模式识别、人工智能等众多研究领域,是一个跨学科的综合问题,也是一个极具挑战性的前沿课题。智能视频分析技术,国外起步较早,国外的智能视频监控市场已经从“概念验证”阶段向“规模应用”阶段过渡,开始慢慢形成一个产业。国内方面,这几年不管是高校科研機构,还是产业化方面都针对智能视频分析技术开展了大量的工作,为智能监控技术的实战应用奠定了基础,随着大规模监控网络的建设,仅靠人力难以充分发挥监控系统的效能,迫切需要智能视频分析技术。由于缺乏智能,传统的视频监控系统面临以下几个方面的不足:
(1)效率低下。传统的监控系统中,“以人为主”的“图像监视”和“录像调阅”已无法满足监控探头和 DVR 录像数据增长的需求。
(2)信息污染。海量的视频信息中99.9%的信息是无用的,剩下的0.1%又是至关重要的。大量的无用视频信息,淹没了少量的有用信息,使得有用信息的获取变得困难。
(3)资源浪费。监控探头分布广,数量多,行业复杂,海量视频数据的传输和存储,给带宽及存储资源带来巨大压力。
(4)业务功能单一。由于缺乏有效的智能分析手段,目前的监控系统仍旧是以“监”视为主,缺乏有效的“控”制能力。
智能视频监控的理论技术基础
智能视频分析技术应用于监控是对输入的视频流,进行目标检测、跟踪、分类以及内容理解等,将各种图像处理,计算机视觉以及模式识别等算法相结合,完成由视频到事件参数的转变。主要技术包括以下几个方面:
(1)目标检测。在视频监控系统中,目标检测处于智能分析的低层,包括动目标以及静目标检测,是各种后续处理的基础。
(2)目标跟踪。目标跟踪即对监控区域内的运动目标的轨迹进行跟踪,是目标监控的最基本的应用,也是其他事件监测的基础,处于智能视频分析的中层。
(3)目标分类和识别。属于智能视频分析的中高层。目标分类指根据检测到目标的形状、外观、轮廓等特征进行分类(如行人、车辆、动物等)。目标识别指对目标的身份进行甄别,实际应用中,如人脸识别,步态识别,车牌识别等。
(4)视频内容分析和理解。属于高级智能视频分析,是真正实现监控智能化的关键。在上述中、低级处理的基础上,进一步对场景中的行为,复杂事件等进行分析和识别,并用自然语言等加以描述。其中最典型的是对场景中的运动目标特别是人的行为的理解和描述。此外,随着城市人口居住密度及流动性越来越大、大型活动逐渐增多,对群体监控和分析也显得日益重要,如人流密度统计,以及群体行为和运动分析等。
智能分析技术应用于视频监控领域,应从整个系统的效能出发,综合考虑成本,算法复杂度,实际需求等,渗透到系统的各个环节中。
(1)前端智能化。在包含成千上万个探头的监控网络中,具有智能的监控前端,不仅能提高对异常事件的反应力,还可以降低海量视频对传输存储资源的需求。具有异常事件感知功能的智能前端技术,能主动甄别摄像机视图中的感兴趣目标。在诸如有人闯入、盗窃、提包遗失或者未经许可在限制区域闲逛等违反自定义规则的情况发生时,发出告警信息,并可在多个探头之间实现接力跟踪。
(2)存储的智能化。在视频分析技术的应用下,基于事件特征的智能存储能够自动对所存储的视频进行标注,从而便于后期的查阅检索。另一方面,传统的固定周期的视频存储,在存储周期结束后,将不再保留任何历史视频数据(被清空或覆盖),这对一些在规定存储周期内还无法破案的事件,会造成无法弥补的损失。
(3)检索的智能化。目前安防监控中,大容量数字化存储已经得到了大量应用。随着高清化的发展,存储容量得到进一步扩大,传统的基于预设告警和时间的视频检索方式已不能满足需求,迫切需要基于内容的视频检索技术。而智能分析与存储技术的发展使得海量视频检索成为可能。在存储的时候,利用智能分析技术将每段视频都打上特有的标记,后端数据的管理和检索可以根据标记快速查找。因此智能分析与存储技术必须协调起来,才能最终达到智能检索的效果。
(4)应用及管理的智能化。智能综合管理平台应对各类报警事件进行集中管理、集中监控、相互联动,能够对监控图像中的关键信息进行自动、智能、实时的甄选、处理与理解,并用于突发社会安全事件的辅助决策与预警,真正实现视频监控的目的。智能综合管理平台管理将监控设备管理、监控图像资料管理和监控人员管理有机地集成起来,有利于从全局角度出发优化系统资源的配置,避免将来重复建设和盲目建设。
普通的智能监控系统体系的结构主要包括智能监控服务器、摄像机组、视频索引服务器.用户操作终端、视频存储系统和五部分。 在这个体系结构中,像机获取的视频在数字化的同时就传输给智能视频监控服务器进行分析处理,自动检测出感兴趣的活动或者事件,给出实时警报并产生丰富的视频索引,同时对摄像机进行控制。系统应用视频智能识别技术代替了人工的巡查,针对监控安全应用领域设备需求量巨大,出现故障以后不能及时准确定位的问题,通过对监控视频这一安防系统中最常见的数据源进行分析, 来实现自动巡检、自动定位问题、实时告警等功能,以便对产生故障的监控设备做出迅速的反应,确保工作和生活安全有序的进行。这个系统的核心功能是对监控设的备运作情况进行实时智能的监控。该系统由网络服务器、图像智能检测服务器、视频存储服务器、数据库服务器、和客户终端组成。网络服务器与监控系统网络相连接,负责接收监控系统内各个设备的视频和控制信号,并将这些接收到的信息转发给图像智能检测服务器来处理;网络服务器、图像智能检测服务器、数据库服务器和视频存储服务器连接在智能检测专用网内,相互协调配合来完成检测、报警、存储、录像、报表、数据分析等相关功能;客户终端既可以在智能检测专用网内安装,也可以再安防系统网络内安装,为用户提供查看报警信息和报表、视频等相关数据的服务,可以为不同的终端设置各自不同的权限。
智能视频监控主要应用的是视频分析技术,包括技术成熟的目标检测、在人数拥挤条件下的目标跟踪以及结合生物技术(如人脸识别)的语义推理、 活动理解和状态感知、多媒体化描述方法。另外还涉及如何设计多机网络化硬件框架、引入多摄像机系统、完善知识库等等。运动检测主要是从监控摄像机所捕捉到的序列图像中检测出是否有运动目标存在。 实时性、准确性的基于三维模型的车辆与行人及物体的定位、识别和跟踪。基于移动摄像机的视觉监控技术,即将现有参数固定的静态摄像机改进参数可 自动调节的动态摄像机。多摄像机互相协助的监控。异常情况的检测、报警与目标行为的预测。视觉监控系统的最终目的是为了接受监视场景中所发生的事件,根据要求对异常情况进行报警,并且根据当前目标所处的状态对将要发生的事件进行预测。 研究目标运动情况在语义上的解释方法,并将简单的行为识别与语义理解推广到对监控场景的自然语言的描述。生物特征识别技术与人的运动分析的结合是视觉监控系统的一个非常重要的问题。脸部图像与步态是最具有可感知性与非接触性优点的生物特征,是当前被认为可以用于视觉监控系统中的身份识别的两个最主要的生物特征。研究脸部图像、步态,体形特征相融合的人的身份识别算法,以便于自动从监控视频中确认可疑份子。一般的视频异常检测系统的流程主要是先读取视频图像,然后检测出目标,对目标提取特征后,根据设定的标准情况进行异常的判断和分析。视频异常检测中的重点是目标检测和异常分析。目标检测的重点是根据不同的情况选择合适的参考帧,判别特征与判别准则。参考帧的选取可以有两种:一种是静止的背景图像; 第二种是使用动态背景,不停的使用当前帧代替参考帧,这种方式下检测到的大多数为景物中相对运动的对象。判别特征的选取和判断当前图像与参考图像相似度的方法有很多,可以通过像素特征例如色彩分量、灰度等信息,也可以判断直方图等统计信息的变化,还可以采用压缩域的特征来进行判断。
[关键词]智能视频 监控 智能化
中图分类号:TP 文献标识码:A 文章编号:1009-914X(2013)20-0618-01
智能视频监控
新一代的智能视频分析技术涉及图像处理、计算机视觉、模式识别、人工智能等众多研究领域,是一个跨学科的综合问题,也是一个极具挑战性的前沿课题。智能视频分析技术,国外起步较早,国外的智能视频监控市场已经从“概念验证”阶段向“规模应用”阶段过渡,开始慢慢形成一个产业。国内方面,这几年不管是高校科研機构,还是产业化方面都针对智能视频分析技术开展了大量的工作,为智能监控技术的实战应用奠定了基础,随着大规模监控网络的建设,仅靠人力难以充分发挥监控系统的效能,迫切需要智能视频分析技术。由于缺乏智能,传统的视频监控系统面临以下几个方面的不足:
(1)效率低下。传统的监控系统中,“以人为主”的“图像监视”和“录像调阅”已无法满足监控探头和 DVR 录像数据增长的需求。
(2)信息污染。海量的视频信息中99.9%的信息是无用的,剩下的0.1%又是至关重要的。大量的无用视频信息,淹没了少量的有用信息,使得有用信息的获取变得困难。
(3)资源浪费。监控探头分布广,数量多,行业复杂,海量视频数据的传输和存储,给带宽及存储资源带来巨大压力。
(4)业务功能单一。由于缺乏有效的智能分析手段,目前的监控系统仍旧是以“监”视为主,缺乏有效的“控”制能力。
智能视频监控的理论技术基础
智能视频分析技术应用于监控是对输入的视频流,进行目标检测、跟踪、分类以及内容理解等,将各种图像处理,计算机视觉以及模式识别等算法相结合,完成由视频到事件参数的转变。主要技术包括以下几个方面:
(1)目标检测。在视频监控系统中,目标检测处于智能分析的低层,包括动目标以及静目标检测,是各种后续处理的基础。
(2)目标跟踪。目标跟踪即对监控区域内的运动目标的轨迹进行跟踪,是目标监控的最基本的应用,也是其他事件监测的基础,处于智能视频分析的中层。
(3)目标分类和识别。属于智能视频分析的中高层。目标分类指根据检测到目标的形状、外观、轮廓等特征进行分类(如行人、车辆、动物等)。目标识别指对目标的身份进行甄别,实际应用中,如人脸识别,步态识别,车牌识别等。
(4)视频内容分析和理解。属于高级智能视频分析,是真正实现监控智能化的关键。在上述中、低级处理的基础上,进一步对场景中的行为,复杂事件等进行分析和识别,并用自然语言等加以描述。其中最典型的是对场景中的运动目标特别是人的行为的理解和描述。此外,随着城市人口居住密度及流动性越来越大、大型活动逐渐增多,对群体监控和分析也显得日益重要,如人流密度统计,以及群体行为和运动分析等。
智能分析技术应用于视频监控领域,应从整个系统的效能出发,综合考虑成本,算法复杂度,实际需求等,渗透到系统的各个环节中。
(1)前端智能化。在包含成千上万个探头的监控网络中,具有智能的监控前端,不仅能提高对异常事件的反应力,还可以降低海量视频对传输存储资源的需求。具有异常事件感知功能的智能前端技术,能主动甄别摄像机视图中的感兴趣目标。在诸如有人闯入、盗窃、提包遗失或者未经许可在限制区域闲逛等违反自定义规则的情况发生时,发出告警信息,并可在多个探头之间实现接力跟踪。
(2)存储的智能化。在视频分析技术的应用下,基于事件特征的智能存储能够自动对所存储的视频进行标注,从而便于后期的查阅检索。另一方面,传统的固定周期的视频存储,在存储周期结束后,将不再保留任何历史视频数据(被清空或覆盖),这对一些在规定存储周期内还无法破案的事件,会造成无法弥补的损失。
(3)检索的智能化。目前安防监控中,大容量数字化存储已经得到了大量应用。随着高清化的发展,存储容量得到进一步扩大,传统的基于预设告警和时间的视频检索方式已不能满足需求,迫切需要基于内容的视频检索技术。而智能分析与存储技术的发展使得海量视频检索成为可能。在存储的时候,利用智能分析技术将每段视频都打上特有的标记,后端数据的管理和检索可以根据标记快速查找。因此智能分析与存储技术必须协调起来,才能最终达到智能检索的效果。
(4)应用及管理的智能化。智能综合管理平台应对各类报警事件进行集中管理、集中监控、相互联动,能够对监控图像中的关键信息进行自动、智能、实时的甄选、处理与理解,并用于突发社会安全事件的辅助决策与预警,真正实现视频监控的目的。智能综合管理平台管理将监控设备管理、监控图像资料管理和监控人员管理有机地集成起来,有利于从全局角度出发优化系统资源的配置,避免将来重复建设和盲目建设。
普通的智能监控系统体系的结构主要包括智能监控服务器、摄像机组、视频索引服务器.用户操作终端、视频存储系统和五部分。 在这个体系结构中,像机获取的视频在数字化的同时就传输给智能视频监控服务器进行分析处理,自动检测出感兴趣的活动或者事件,给出实时警报并产生丰富的视频索引,同时对摄像机进行控制。系统应用视频智能识别技术代替了人工的巡查,针对监控安全应用领域设备需求量巨大,出现故障以后不能及时准确定位的问题,通过对监控视频这一安防系统中最常见的数据源进行分析, 来实现自动巡检、自动定位问题、实时告警等功能,以便对产生故障的监控设备做出迅速的反应,确保工作和生活安全有序的进行。这个系统的核心功能是对监控设的备运作情况进行实时智能的监控。该系统由网络服务器、图像智能检测服务器、视频存储服务器、数据库服务器、和客户终端组成。网络服务器与监控系统网络相连接,负责接收监控系统内各个设备的视频和控制信号,并将这些接收到的信息转发给图像智能检测服务器来处理;网络服务器、图像智能检测服务器、数据库服务器和视频存储服务器连接在智能检测专用网内,相互协调配合来完成检测、报警、存储、录像、报表、数据分析等相关功能;客户终端既可以在智能检测专用网内安装,也可以再安防系统网络内安装,为用户提供查看报警信息和报表、视频等相关数据的服务,可以为不同的终端设置各自不同的权限。
智能视频监控主要应用的是视频分析技术,包括技术成熟的目标检测、在人数拥挤条件下的目标跟踪以及结合生物技术(如人脸识别)的语义推理、 活动理解和状态感知、多媒体化描述方法。另外还涉及如何设计多机网络化硬件框架、引入多摄像机系统、完善知识库等等。运动检测主要是从监控摄像机所捕捉到的序列图像中检测出是否有运动目标存在。 实时性、准确性的基于三维模型的车辆与行人及物体的定位、识别和跟踪。基于移动摄像机的视觉监控技术,即将现有参数固定的静态摄像机改进参数可 自动调节的动态摄像机。多摄像机互相协助的监控。异常情况的检测、报警与目标行为的预测。视觉监控系统的最终目的是为了接受监视场景中所发生的事件,根据要求对异常情况进行报警,并且根据当前目标所处的状态对将要发生的事件进行预测。 研究目标运动情况在语义上的解释方法,并将简单的行为识别与语义理解推广到对监控场景的自然语言的描述。生物特征识别技术与人的运动分析的结合是视觉监控系统的一个非常重要的问题。脸部图像与步态是最具有可感知性与非接触性优点的生物特征,是当前被认为可以用于视觉监控系统中的身份识别的两个最主要的生物特征。研究脸部图像、步态,体形特征相融合的人的身份识别算法,以便于自动从监控视频中确认可疑份子。一般的视频异常检测系统的流程主要是先读取视频图像,然后检测出目标,对目标提取特征后,根据设定的标准情况进行异常的判断和分析。视频异常检测中的重点是目标检测和异常分析。目标检测的重点是根据不同的情况选择合适的参考帧,判别特征与判别准则。参考帧的选取可以有两种:一种是静止的背景图像; 第二种是使用动态背景,不停的使用当前帧代替参考帧,这种方式下检测到的大多数为景物中相对运动的对象。判别特征的选取和判断当前图像与参考图像相似度的方法有很多,可以通过像素特征例如色彩分量、灰度等信息,也可以判断直方图等统计信息的变化,还可以采用压缩域的特征来进行判断。