监狱是负责关押和改造服刑人员的重要国家机关,是维系社会稳定和安宁至关重要的一环。本文意通过技术手段对监狱视频监控系统进行智能化改造,辅助狱警工作,减少监狱监管工作量提升工作效率。根据学校承担的国家重点研发计划课题中有关智能化改造宁夏某监狱的项目,本文基于深度学习和图像处理技术设计开发相关异常行为检测算法及嵌入式平台系统实现。最终本文设计开发的算法和系统能够通过视频监控分析检测服刑人员活动规律和睡眠状态,输出便于狱警查看的可视化数据,及时预警存在异常行为人员,通知狱警对此类人员进行核查确认,及时解决问题防患于未然。本文设计开发的算法和系统从项目实际需求出发,以极低的物力和人力投入辅助狱警工作,排查异常,大大减少排查的工作量,大幅提升监狱监管的工作效率,通过技术手段预警监狱中潜在隐患和过激行为。本文内容具体总结如下:首先目前大多数基于深度学习的目标检测算法对计算性能要求很高,主要通过装有GPU的高性能台式计算机或者连接网络的高性能服务器上实现部署。但是装有GPU的高性能台式计算机价格高昂、体积较大,不便于直接在指定监舍中部署,同时实现成本过高超出项目预算。如果通过连接高性能服务器进行数据处理,将会给监狱数据的安全性带来隐患。针对项目预算有限和数据安全性问题,本文设计开发满足项目需求的嵌入式平台实现方法:基于NVIDIA JETSON TX2核心板设计嵌入式系统,并在其中搭建运行深度学习模型的软件环境,实现本文设计开发的算法。实验表明,本文基于TX2核心板设计的嵌入式系统体积小,造价低,易于部署,高功耗模式下性能可满足Yolov3算法的实时目标检测,同时本文通过对Yolov3模型剪枝改进使得模型检测速度提升49.4%、参数量降低82.3%、模型体积降低82.2%;通过利用TensorRT加速Yolov3推理过程,使得网络模型推断速度提升1.5倍左右,GPU占用减少1GB。其次针对狱警不易发现服刑人员存在于日常活动规律的异常行为问题,若采用人力解决,只通过狱警观察记录,需大量人力投入。故本文提出采用目标检测算法实现指定场景内人员和物体的目标识别,输出坐标信息、分类信息和系统时钟信息,然后设计数据可视化算法和异常判定算法为狱警输出直观的可视化信息和异常信息。本文通过实验分析比较各种目标检测算法原理以及在嵌入式平台部署的性能,经过对比实验最终选定Yolov3作为系统目标检测的基础算法。本文设计的算法包括:改进K-means算法自动获取聚类中心数,以此实现坐标数据自动聚类输出人员活动的热点位置坐标和热点数量;人员于热点停留时长时刻可视化算法,对聚类后数据添加时钟信息,绘制展现人员于各热点停留的时刻和时长分布图;人员活动热力图绘制算法,以热力图的形式展示人员于场景内的活动规律;差异值哈希算法,计算当日活动热力图与统计规律活动热力图的拟合程度。实现表明,本文改进的Yolov3算法,通过自建数据集迁移学习训练后对原场景人员目标检测识别准确率达到99%以上,因模拟监狱场景的强规律性,人员特征变化小,经迁移学习训练后几乎无漏检;数据可视化算法和异常判断算法,为狱警直观的输出服刑人员活动规律的一系列信息和异常信息提醒,能够及时预警异常人员,极大的减轻了狱警的工作量。最终针对服刑人员心理活动不容易被监管问题,有方案提出通过电子手环采集服刑人员心率、血压等生物信息进行心理状态异常分析,此方案存在的弊端是:电子手环易损坏且须经常更换电池或充电,这将带来大量的后续运维工作和运维成本。项目预算有限,力求更低的人力和物力投入解决方案。从实际出发,监狱是一个特殊场所,服刑人员24小时都将处于视频监控下,故本文设计开发图像处理算法,对指定服刑人员睡眠状态时的视频图像进行处理,输出人员的睡眠状态曲线,以及反映人员睡眠状态的各项指标,根据获取的曲线和指标预警睡眠状异常人员,缩小排查心理活动剧烈的服刑人员范围,帮助狱警减少监管工作量。实验表面,该方法可有效检测出睡眠状态异常人员,以极低的人力和物力资源投入,大幅减少狱警工作量,提升监狱监管工作效率。本文设计系统中,硬件方面,基于TX2核心板设计嵌入式平台,有效的降低了硬件系统的成本,使系统部署更加便利,很好的满足了项目需求。软件方面:实现嵌入式平台上深度学习模型运行所需的软件环境搭建;利用TensorRT加速算法推理过程;改进Yolov3模型并自建数据集迁移学习训练;数据可视化和异常判定算法设计开发;睡眠状态检测的图像处理算法设计开发。本文设计的基于视频监控的异常行为检测算法及嵌入式系统,成功满足项目各项要求,为宁夏某监狱解决了实际问题。