观察记录作为一种深入了解感兴趣目标的行为的技术手段,以时间为节点,捕捉重要时刻的变化、总结长周期下的规律。其中,基于视频的观察记录方式具有连续、全面、客观、可重现的数据收集能力,在军事训练、科学研究、幼儿保育、环境检测等方面有着广阔的应用前景。为了高效使用视频观察信息、方便用户检索浏览,本文以观察记录系统的智能化为目标,对其中的视频数据处理方法进行了深入研究。主要的工作以及创新点如下:(1)在深刻理解观察、记录含义的基础上,系统对比了视频观察记录和视频安全监控的同异。分析了观察记录系统的需求特点,提炼出了视频观察数据处理的流程以及处理过程中的关键技术。(2)以人作为视频观察对象,描述了单视频数据中多人耦合的情况,分析了用户对视频解耦、帧图像分类记录的需求,提出了用人脸检测识别作为分类记录“触发信息”的方法。对该方法处理流程中用到的人脸检测和人脸识别的算法进行了实验验证。然后在此基础上,设计并实现了基于人脸检测识别的视频分类记录方案,对方案的测试结果进行了分析总结。(3)介绍了多视频观察源对获取信息全面性的重要意义,阐述了同步多源的视频数据在处理过程中存在的问题,分析了用户对视频重组记录的需求,提出了用人脸角度估计作为不同观察源数据处理切换信息的方法。然后基于加利福尼亚大学提出的人脸角度估计算法,设计并完成了基于人脸角度估计的多视频重组记录方案,对方案的测试结果进行了分析总结。(4)分析了观察记录系统的实现框架,完成了观察记录系统硬件平台的构建,设计并实现了基于MATLAB的观察记录系统视频处理软件。通过调整数据处理流程和优化程序结构,重点解决了软件中MATLAB读取大量视频数据时内存不足的问题。