论文部分内容阅读
摘 要：本设备针对不同应用场景，利用卷积神经网络（CNN）预先在云服务器或GPU训练出多种不同模型及对应特征码，并将其转换为ZYNQ的可执行代码。随后ZYNQ针对当前处理场景和需求获得处理结果，再利用以边缘计算模型为核心的处理方式，将结果通过网口或串口远程传输到PC端，与PC端的模型进行和特征码进行匹配。当处理环境或需求有所变化时，通过网口或串口远程操控，更换ZYNQ平台的可执行代码，从而实现针对不同应用环境的监测和实时传输。
关键词：ZYNQ；人工智能；
1 引言
随着人工智能技术的发展，人们开始将这项技术应用到视频监控中，通过智能化的方式来获取车、行人、动物的相关信息。与此同时，视频数据的网络传输也就变得愈加地频繁和重要。据预测，到2020年全球将会有260亿的物联网设备，网络传输的压力将会进一步加大[1]。目前，视频传输大多数仍然采用云计算模型为核心的集中处理方式，这样的传输方式有如下问题：1、传输延迟较高；2、增加了云计算平台服务器的处理负担；3、储存和管理了大量冗余视频数据，增加了储存节点的能耗[2]。针对这些问题，有学者尝试将视频数据进行压缩处理再传输，也有研究通过硬件设计实现视频数据的多路传输。但实验表明，这些设计并没有从根本上解决网络负载的问题，甚至会造成视频数据的丢失。
针对这一问题，当前很多研究人员提出了采用边缘计算为核心的方式来进行实时监测。边缘计算是一种在靠近物或数据源头的网络边缘提供智能服务的新型计算模型，与设备的近距离使得它能够节省网络流量、提高响应速度。
2 硬件简介
本设计采用的是Eaglego系列是威视锐科技基于XILINX的高性能 Zynq 7020芯片，可以满足实时性苛刻的推理计算需求。实现深度学习模型的自动转换 FPGA 代码，可以帮助用户快速将训练后的模型转换到硬件部署，实现快速算法验证。ZYNQ EP将 SoC 集成处理系统（PS）和可编程逻辑器件（PL）包含在单个芯片上。ZYNQ EPP 芯片的总体框图如图2-6所示，其中，PS 集成了两个 ARM？的 Cortex？-A9 MPCore 的？应用处理器，AMBA？互连，内部存储器，外部存储器接口和外设。这些外设主要包括 USB 总线接口，以太网接口，SD/ SDIO接口，I2C总线接口，SPI总线接口，CAN总线接口，UART接口，GPIO等。PS可以独立运行并在上电或复位下启动。
此外ZYNQ7020开发板的其主要参数如下：可编程逻辑单元：约85K，约130万ASIC门；LUTs：53200；触发器：106400；RAM：506KB；DSP模块：220；内存：512MB ，32bit数据总线；USB：一路USB调试串口；HDMI：1路HDMI高清输出接口，支持1080P显示；TF：1路TF卡接口，标配8G内存卡；WIFI：802.11a/b/g；Ethernet：1路10/100/1000Mbps以太網接口；调试接口：1个14Pin双排调试接口，间距2mm；通用扩展：27Pin Microdunio兼容接口，支持40余种扩展模块；视觉传感器：SONY 1080P高清图像传感器。
3 实现过程
如图2所示，本设计首先通过摄像头对所需数据进行采集，再将采集到的数据传输到ZYNQ进行边缘计算处理，生成特征码。将特征码传输到PC端，与预先在云端或GPU训练好的模型及对应的特征码进行匹配，并在PC端显示匹配结果。当所需处理的环境或要求有所变化时，可通过PC端对ZYNQ进行远程的代码及模型更新，从而可以针对不同的环境和要求进行智能监测和传输。
4 结论
人工智能技术与视频监控系统的结合，突破了传统监控的时间和地域的局限，为我们的生活带来了极大的便利，但大量的人工智能视频监测系统，给我们的网络传输带来了极大的压力。随着物联网成为新一轮科技发展制高点，边缘计算给物联网领域中的海量数据传输、实时服务响应等复杂挑战提供了新的解决方案，因此受到了国内外政府、工业界和学术界的高度关注和认可。本设计针对当前监控视频流数据传输过慢、数据量过大的问题，提出了一种基于ZYNQ的面向边缘计算的通用型智能监测系统。
通过实验证明，本设计通过在深度学习的Caffe框架上结合卷积神经网络的相关理论知识，能够在对监测视频中的对象有效识别的前提下，大大降低数据传输量。一般的监控系统，每秒传输的数据约为150M到180M之间，而本设计通过特征码的方式进行传输，其传输数据大小不足1KB；而且本系统在没有检测对象存在时，并不进行数据的传输，因此，本设计能够大大的降低网络的负载。此外，随着人工智能时代的发展，在未来的生活和和生产中，将会有更多的场所需要实现快速高效的智能监测，例如：人体行为识别、学生作弊检测、自然灾害监测等多个领域，同时传输的数据量也会愈加增大。本设计提出的通用型的智能监测系统，相较于当前基于云计算的视频监控系统，无疑更能满足于未来多种环境下的智能监测需求。
参考文献：
[1]施巍松，孙辉，曹杰，张权，刘伟.边缘计算：万物互联时代新型计算模型[J].计算机研究与发展，2017，54（05）：907-924.
[2]刘蕾.船舶监控视频数据的压缩与传输方法研究[J].舰船科学技术，2018，40（12）：40-42.
关键词：ZYNQ；人工智能；
1 引言
随着人工智能技术的发展，人们开始将这项技术应用到视频监控中，通过智能化的方式来获取车、行人、动物的相关信息。与此同时，视频数据的网络传输也就变得愈加地频繁和重要。据预测，到2020年全球将会有260亿的物联网设备，网络传输的压力将会进一步加大[1]。目前，视频传输大多数仍然采用云计算模型为核心的集中处理方式，这样的传输方式有如下问题：1、传输延迟较高；2、增加了云计算平台服务器的处理负担；3、储存和管理了大量冗余视频数据，增加了储存节点的能耗[2]。针对这些问题，有学者尝试将视频数据进行压缩处理再传输，也有研究通过硬件设计实现视频数据的多路传输。但实验表明，这些设计并没有从根本上解决网络负载的问题，甚至会造成视频数据的丢失。
针对这一问题，当前很多研究人员提出了采用边缘计算为核心的方式来进行实时监测。边缘计算是一种在靠近物或数据源头的网络边缘提供智能服务的新型计算模型，与设备的近距离使得它能够节省网络流量、提高响应速度。
2 硬件简介
本设计采用的是Eaglego系列是威视锐科技基于XILINX的高性能 Zynq 7020芯片，可以满足实时性苛刻的推理计算需求。实现深度学习模型的自动转换 FPGA 代码，可以帮助用户快速将训练后的模型转换到硬件部署，实现快速算法验证。ZYNQ EP将 SoC 集成处理系统（PS）和可编程逻辑器件（PL）包含在单个芯片上。ZYNQ EPP 芯片的总体框图如图2-6所示，其中，PS 集成了两个 ARM？的 Cortex？-A9 MPCore 的？应用处理器，AMBA？互连，内部存储器，外部存储器接口和外设。这些外设主要包括 USB 总线接口，以太网接口，SD/ SDIO接口，I2C总线接口，SPI总线接口，CAN总线接口，UART接口，GPIO等。PS可以独立运行并在上电或复位下启动。
此外ZYNQ7020开发板的其主要参数如下：可编程逻辑单元：约85K，约130万ASIC门；LUTs：53200；触发器：106400；RAM：506KB；DSP模块：220；内存：512MB ，32bit数据总线；USB：一路USB调试串口；HDMI：1路HDMI高清输出接口，支持1080P显示；TF：1路TF卡接口，标配8G内存卡；WIFI：802.11a/b/g；Ethernet：1路10/100/1000Mbps以太網接口；调试接口：1个14Pin双排调试接口，间距2mm；通用扩展：27Pin Microdunio兼容接口，支持40余种扩展模块；视觉传感器：SONY 1080P高清图像传感器。
3 实现过程
如图2所示，本设计首先通过摄像头对所需数据进行采集，再将采集到的数据传输到ZYNQ进行边缘计算处理，生成特征码。将特征码传输到PC端，与预先在云端或GPU训练好的模型及对应的特征码进行匹配，并在PC端显示匹配结果。当所需处理的环境或要求有所变化时，可通过PC端对ZYNQ进行远程的代码及模型更新，从而可以针对不同的环境和要求进行智能监测和传输。
4 结论
人工智能技术与视频监控系统的结合，突破了传统监控的时间和地域的局限，为我们的生活带来了极大的便利，但大量的人工智能视频监测系统，给我们的网络传输带来了极大的压力。随着物联网成为新一轮科技发展制高点，边缘计算给物联网领域中的海量数据传输、实时服务响应等复杂挑战提供了新的解决方案，因此受到了国内外政府、工业界和学术界的高度关注和认可。本设计针对当前监控视频流数据传输过慢、数据量过大的问题，提出了一种基于ZYNQ的面向边缘计算的通用型智能监测系统。
通过实验证明，本设计通过在深度学习的Caffe框架上结合卷积神经网络的相关理论知识，能够在对监测视频中的对象有效识别的前提下，大大降低数据传输量。一般的监控系统，每秒传输的数据约为150M到180M之间，而本设计通过特征码的方式进行传输，其传输数据大小不足1KB；而且本系统在没有检测对象存在时，并不进行数据的传输，因此，本设计能够大大的降低网络的负载。此外，随着人工智能时代的发展，在未来的生活和和生产中，将会有更多的场所需要实现快速高效的智能监测，例如：人体行为识别、学生作弊检测、自然灾害监测等多个领域，同时传输的数据量也会愈加增大。本设计提出的通用型的智能监测系统，相较于当前基于云计算的视频监控系统，无疑更能满足于未来多种环境下的智能监测需求。
参考文献：
[1]施巍松，孙辉，曹杰，张权，刘伟.边缘计算：万物互联时代新型计算模型[J].计算机研究与发展，2017，54（05）：907-924.
[2]刘蕾.船舶监控视频数据的压缩与传输方法研究[J].舰船科学技术，2018，40（12）：40-42.