论文部分内容阅读
随着国家对于城市安全建设的要求逐步提高,智能安防技术成为保障城市安全的重要手段,智能监控通过计算机视觉技术实现实时的目标检测和事件挖掘的产品已逐步部署到城市各个监控安防网络中,而伴随着大量监控视频数据产生,如何存储海量视频数据、如何从海量视频数据中快速的分析出有效信息成为当前平安城市建设的主要难题,因此,本文在这些问题的基础上展开讨论,使用大数据领域的主流框架Hadoop进行分布式视频数据处理,并在Hadoop框架下搭建了基于Adaboost算法和PCA主成分分析算法的人脸识别系统,通过实验验证了该系统能够有效地提升对视频数据的处理能力。本文通过将Hadoop技术与计算机视觉技术相结合,对海量视频中人脸数据进行挖掘,并管理挖掘出的数据,用于后期的事件检索。首先对大数据技术、Hadoop框架中三大核心技术的结构和原理进行分析,然后在此基础上提出了通过扩展Hadoop数据类型接口、Hadoop文件输入输出格式接口和Hadoop文件分片接口实现Hadoop对视频数据处理的支持,为了解决视频数据在上传至分布式文件系统HDFS过程中会出现视频帧丢失的问题,通过使用FFMPEG多媒体框架实现在视频上传过程中对视频数据按HDFS文件块大小进行分割,然后上传至分布式文件系统。在并行计算模型MapReduce的map函数中使用基于Adaboost的人脸检测算法和PCA的人脸特征提取算法进行人脸信息识别,并在reduce函数中将识别的信息进行汇总上传至Hbase数据库。在此基础上,本文通过对存储在Hbase数据库中的人脸信息数据进行检索。最后,本文使用视频数据对整个系统的功能和性能进行测试,通过实验表明,基于Hadoop的人脸识别系统相对于单机处理方式能够提升一倍以上的性能,由于Hadoop的易扩展性,通过对Hadoop集群的扩展,该系统的性能仍有很大的提升空间。