论文部分内容阅读
摘要：嵌入式平台的计算性能和存储空间都与高性能服务器无法媲美。本文提出了一个结合改进的YOLOv3与决策树的新方法来实现人类非法狩猎行为识别。由于只需要2帧图像就可以判定出是否发生人类非法行为。我们提出了用图像中对象类别相关度、对象中心点距离变化和中心点连线的几何角度变化构造决策树来实现行为识别模型。我们这种方法尤其在计算力有限的无人机等嵌入式设备上具备识别速度和精度上的综合优势。我们的方法在DOIHB数据集上测试达到了目前最高水平的非法狩猎行为识别的准确率，平均用时仅为目前其他方法的1/10到1/3。
关键词：无人机;YOLOv3;决策树;行为识别
0引文
由于人们对自然资源的肆意攫取，使得很多动物频临灭绝。如何高效地保护野生动物是一个十分值得研究的课题。无人机平台显著提高了林业执法的效率。深度学习技术的不断发展使得我们在嵌入式平台上进行目标识别与行为分析成为了可能。随着深度学习的日益普及，基于深度学习的行为分析方法不断涌现。实验结果显示，目前基于深度网络自主学习的特征表达的性能已经超越了基于人为设计的特征方法。目前面向行为识别的深度学习方法大体可分为两类：基于二维（2D）卷积神经网络（CNN）特征和基于三维（3D）CNN特征的方法[1]。虽然3D卷积神经网络在人类行为识别方面具有得天独厚的优势，但是无人机等嵌入式平台的内存及计算力等方面毕竟与服务器的性能无法相比。在无人机上部署3D卷积神经网络进行人类行为识别的实时性无法保障。这使得我们有必要提出符合无人机等嵌入式平台性能现状的人类行为识别模型[2]。我们所提出的识别方法主要解决了3D卷积神经网络因参数数量过多而不适合在无人机等嵌入式设备上训练的缺点。
一些研究是通过可穿戴设备进行人类行为的识别[3]。这种识别技术具有识别准确率高和抗干扰能力强的特点。缺点是设备昂贵、侵入性的，并且应用场景有限，尤其是在人类非法行为识别方面是很难应用的。因为我们不可能要求不法份子穿上设备等待我们去识别。一些研究是通过在特定场景下部署各类传感器去识别人类行为[4]。一般来说，基于传感器的HAR分为四个基本步骤：数据收集、数据分割、特征提取和分类。传感器的种类丰富程度及精度直接影響着行为识别范围和准确率。但是在森林等空旷的野外部署可以长时间工作无线传感器网络是一项十分困难的事情，各节点所需要的能量往往很难解决。利用无人机的超强机动性和机载摄像头高清视频提取能力，可以更好的实现人类非法狩猎行为数据收集。利用卷积神经网络等深度学习技术实现行为特征提取与识别，利用决策树对人类行为进行分类并识别出非法狩猎行为是一个十分简单有效的方法。
1方法
我们提出的方法是基于高度相关目标中心点距离变化和中心点连线与水平方向角度变化为人类非法狩猎行为判定的核心标准。本方法只需要2帧图像就可以判定出人类非法行为的等级，在我们建立的大规模数据集DOIHB中测试发现就有最好的识别精度与速度综合指标。
如图1所示，我们提出的基于2D卷积神经网络的人类非法狩猎行为识别框架由2D卷积神经网络和决策树模块构成，最后输出行为识别结果输出。在特征学习阶段，利用二维卷积神经网络从第一帧图像中提取空间特征，同时将识别结果传输给决策树模块。如果识别出与人类非法狩猎行为高度相关的目标对（如人和猎枪），且该目标对空间特征满足申请读入第二帧图像的阈值则读入第二帧图像。再次调用决策树模块进行行为识别并将识别结果输出。识别结果如图2所示。
2结论
我们的方法充分考虑到了嵌入式平台的计算性能和存储空间有限的特点，充分利用目标检测任务的结果作为行为识别任务的输入，极大提高了行为识别的速度。我们的方法为嵌入式平台的行为识别研究开辟了新的研究途径。
参考文献
[1] Y. Zhou， X. Sun， Z.-J. Zha， and W. Zeng， "MiCT： Mixed 3D/2D Convolutional Tube for Human Action Recognition，" in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018， pp. 449-458.
[2] M. Bilkhu and H. Ayyubi， "Human Activity Recognition for Edge Devices，" arXiv preprint arXiv：1903.07563， 2019.
[3] P. Bharti， D. De， S. Chellappan， and S. K. Das， "HuMAn： Complex Activity Recognition with Multi-modal Multi-positional Body Sensing，" IEEE Transactions on Mobile Computing， vol. 18， pp. 857-870， 2019.
[4] Y. Chen and Y. Xue， "A deep learning approach to human activity recognition based on single accelerometer，" in 2015 IEEE International Conference on Systems， Man， and Cybernetics， 2015， pp. 1488-1492.
项目基金：黑龙江东方学院重点科学研究项目（HDFKY190101）黑龙江东方学院科学研究项目（HDFKY200109）
关键词：无人机;YOLOv3;决策树;行为识别
0引文
由于人们对自然资源的肆意攫取，使得很多动物频临灭绝。如何高效地保护野生动物是一个十分值得研究的课题。无人机平台显著提高了林业执法的效率。深度学习技术的不断发展使得我们在嵌入式平台上进行目标识别与行为分析成为了可能。随着深度学习的日益普及，基于深度学习的行为分析方法不断涌现。实验结果显示，目前基于深度网络自主学习的特征表达的性能已经超越了基于人为设计的特征方法。目前面向行为识别的深度学习方法大体可分为两类：基于二维（2D）卷积神经网络（CNN）特征和基于三维（3D）CNN特征的方法[1]。虽然3D卷积神经网络在人类行为识别方面具有得天独厚的优势，但是无人机等嵌入式平台的内存及计算力等方面毕竟与服务器的性能无法相比。在无人机上部署3D卷积神经网络进行人类行为识别的实时性无法保障。这使得我们有必要提出符合无人机等嵌入式平台性能现状的人类行为识别模型[2]。我们所提出的识别方法主要解决了3D卷积神经网络因参数数量过多而不适合在无人机等嵌入式设备上训练的缺点。
一些研究是通过可穿戴设备进行人类行为的识别[3]。这种识别技术具有识别准确率高和抗干扰能力强的特点。缺点是设备昂贵、侵入性的，并且应用场景有限，尤其是在人类非法行为识别方面是很难应用的。因为我们不可能要求不法份子穿上设备等待我们去识别。一些研究是通过在特定场景下部署各类传感器去识别人类行为[4]。一般来说，基于传感器的HAR分为四个基本步骤：数据收集、数据分割、特征提取和分类。传感器的种类丰富程度及精度直接影響着行为识别范围和准确率。但是在森林等空旷的野外部署可以长时间工作无线传感器网络是一项十分困难的事情，各节点所需要的能量往往很难解决。利用无人机的超强机动性和机载摄像头高清视频提取能力，可以更好的实现人类非法狩猎行为数据收集。利用卷积神经网络等深度学习技术实现行为特征提取与识别，利用决策树对人类行为进行分类并识别出非法狩猎行为是一个十分简单有效的方法。
1方法
我们提出的方法是基于高度相关目标中心点距离变化和中心点连线与水平方向角度变化为人类非法狩猎行为判定的核心标准。本方法只需要2帧图像就可以判定出人类非法行为的等级，在我们建立的大规模数据集DOIHB中测试发现就有最好的识别精度与速度综合指标。
如图1所示，我们提出的基于2D卷积神经网络的人类非法狩猎行为识别框架由2D卷积神经网络和决策树模块构成，最后输出行为识别结果输出。在特征学习阶段，利用二维卷积神经网络从第一帧图像中提取空间特征，同时将识别结果传输给决策树模块。如果识别出与人类非法狩猎行为高度相关的目标对（如人和猎枪），且该目标对空间特征满足申请读入第二帧图像的阈值则读入第二帧图像。再次调用决策树模块进行行为识别并将识别结果输出。识别结果如图2所示。
2结论
我们的方法充分考虑到了嵌入式平台的计算性能和存储空间有限的特点，充分利用目标检测任务的结果作为行为识别任务的输入，极大提高了行为识别的速度。我们的方法为嵌入式平台的行为识别研究开辟了新的研究途径。
参考文献
[1] Y. Zhou， X. Sun， Z.-J. Zha， and W. Zeng， "MiCT： Mixed 3D/2D Convolutional Tube for Human Action Recognition，" in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018， pp. 449-458.
[2] M. Bilkhu and H. Ayyubi， "Human Activity Recognition for Edge Devices，" arXiv preprint arXiv：1903.07563， 2019.
[3] P. Bharti， D. De， S. Chellappan， and S. K. Das， "HuMAn： Complex Activity Recognition with Multi-modal Multi-positional Body Sensing，" IEEE Transactions on Mobile Computing， vol. 18， pp. 857-870， 2019.
[4] Y. Chen and Y. Xue， "A deep learning approach to human activity recognition based on single accelerometer，" in 2015 IEEE International Conference on Systems， Man， and Cybernetics， 2015， pp. 1488-1492.
项目基金：黑龙江东方学院重点科学研究项目（HDFKY190101）黑龙江东方学院科学研究项目（HDFKY200109）