论文部分内容阅读
摘 要：为了满足人们对于限定区域监测的需求，解决异构数据的表示、传输以及高并发问题，分析了传统物联网平台在传感数据采集以及传输方面的不足，通过功能模块设计，开发了微环境监测平台。针对平台传感层数据采集工作，设计通信协议，统一数据格式，减少数据传输量和能耗，并制定协议通信流程，利用LoRa技术完成终端到网关之间数据的远程传输；针对平台网络层，设计高并发数据接口实现服务端程序接收并处理数据，最终完成系统的研发和测试。结果表明：设计的通信协议可以完成异构数据格式的统一工作，降低了数据传输量和能耗；验证了数据从终端采集设备到网关，并经过上位机最后到服务器整套传输方案的可行性与可靠性、低延迟性以及高并发数据接口的处理性能。微环境监测平台能够稳定运行，为跨行业物联网应用提供了一套数据采集和传输的解决方案。
关键词：通信传输技术；微环境监测平台；无线传感网络；LoRa；异构数据；高并发接口；线程池
中图分类号：TP393 文献标志码：A
文章编号：1008-1542（2018）04-0356-09doi：10.7535/hbkd.2018yx04010
Abstract：In order to meet people's needs for limited area monitoring and solve the heterogeneous data representation， transmission and high concurrency issues， the deficiency of traditional Internet platform in sensor data acquisition and transmission is analyzed， and a micro environmental monitoring platform is realized through function module design. As for sensing layer data acquisition work， the communication protocol is designed， the data format is unified to reduce the amount of data transmission and energy consumption， and the communication protocol process is determined. LoRa technology is used to complete the remote transmission of data between the terminal and the gateway. As for the platform network layer， the high concurrency data interface is designed， using the server program to receive and process data. Finally the development and testing of the system is completed. The results show that the designed communication protocol can help unifying heterogeneous data format and reducing the quantity of data transmission and energy consumption. The feasibility， reliability and low latency of the whole transmission plan of the data collected from the terminal equipment to the gateway， through the whole PC to server are verified， as well as the processing performance of the high concurrent data interface. The stable operation of the micro-environment monitoring platform proves it is a set of data collection and transmission solution for the applications of cross-industry Internet.
Keywords：communication transmission technology； micro environment monitoring platform； wireless sensor network； LoRa； heterogeneous data； high concurrence interface； thread pool
近年來，LoRa，NB-IoT等LPWA[1]技术的发展，为物联网在各个业务领域的应用打下了基础。物联网体系结构分为感知层、网络层和应用层。感知层主要完成信息的采集、转换和收集，网络层主要完成信息的传递和处理，应用层主要完成数据管理和数据处理，并将这些数据与行业应用相结合[2]。
现存物联网系统在开展行业应用时，需为各自系统搭建传感层和网络层，导致大量重复性工作，增加了成本。单独针对各个行业的物联网应用系统都有着自己独立的数据采集、传输和存储方案，造成了各行业间数据交流不顺畅，以至于无法综合利用数据做出更为准确的分析，阻碍了为用户提供更为优质的服务[3-5]。微环境监测平台便是为解决该问题而开发的，其统一设计的传感层和传输层业务流程，可以让用户将工作重心放在应用层业务应用上。由于微环境监测平台将提供给各个行业来实现它们的业务，因此相比之前单独针对某个行业的物联网系统，其需要的传感层接入终端设备种类和数量倍增。种类繁多的低端硬件采集器和执行器以及各个厂家的设备可能互不兼容，造成数据多源异构，为数据采集、分析和应用带来难度，如何利用智能终端节点有限的资源将大量的数据进行实时、可靠的远距离传输仍是需要重点考虑的问题。因此，需通过通信协议设计，屏蔽数据异构性，统一数据格式，解决数据多源异构问题；进行高并发数据接口设计并实现服务端程序，解决大数据量并发问题[6]。 河北科技大学学报2018年第4期张永强，等：传感数据通信协议及高并发服务的设计与实现为了将多来源、多种类、多类型的海量数据及时、准确、有效、安全地整合并上传，在借鉴他人研究的基础上进行了如下研究：1）设计传感层通信协议，解决多源异构数据格式问题。协议在面向上层命令信息、底层设备状态信息和采集数据信息时，根据信息种类不同，通过数据打包并规定包中数据字段和顺序，完成数据格式的统一，屏蔽数据异构性，降低数据传输量；利用LoRa技术完成终端设备与网关之间数据的传输；利用HTTP接口，完成网关与服务端之间数据的传输与接收；2）设计高并发数据接口并实现服务端程序，通过采用线程池技术，以合理的线程数达到最大的数据处理量。通过对微环境监测平台部分功能的实现，解决了以上问题，并验证了本文的可行性与可靠性。
1 微环境监测平台系统结构
为解决不同业务应用领域的共性问题以及降低业务应用成本，建立了微环境监测平台，平台架构如图1所示。该平台传感层可接入各种设备，主要有微环境监测仪、标签类设备、计量类传感器及开关状态量传感器、监控设备等。采用自主设计的微环境监测仪进行数据采集，采集的数据经过自定义通信协议封装后，根据制定协议通信流程，采用LoRa技术将数据传输到网关；网关再通过RS485串口将数据传输到上位机，经过一定的处理（如加时间戳等）后上报至内网服务端；服务端程序通过高并发数据接口完成网关大数据接收，该接口根据预先定义的通信协议，采用线程池技术，对数据进行解析和存储，提供高并发的数据接收和处理能力。内网服务器端面对网络层大量数据上报以及用户频繁大量的访问应用层，通过采用分布式存储方案、业务分离、读写分离，包括采用MongoDB数据库集群和Redis内存数据库，为系统平台提供高并发和高速的数据存储功能。应用层在进行业务应用和对数据展现时，需要从内网服务器获取相关数据。用户在外网通过手机端和PC端访问微环境监测平台，外网和内网之间用网闸隔开，可以有效地提高平台的安全性[7-8]。
2 传感层通信协议设计
面对微环境监测平台传感层采集数据时的诸多问题：1）种类繁多的终端设备造成的数据多源异构问题，数据格式各异，不利于传输以及分析使用；2）终端节点功耗问题。为了让采集设备能够长期稳定地进行工作，必须设计相应的低功耗机制，在确保通信质量的前提下，使设备尽量节能，从而延长其生命周期；3）数据上报实时性问题。采集的数据必须及时上报，否则将失去意义[9]。本文除了在硬件层面采用低功耗的LoRa技术外，还在软件层面上进行思考和解决[10-13]。在保证多种异构数据真实性和完整性的情况下，通过通信协议设计，合理安排数据结构和数据内容， 精简、去除冗余信息，减少每个通信周期传送的数据量，降低数据发送等待时间，以此达到统一多源异构数据格式的目的，提高通信的实时性、可靠性。同时，降低能耗，延长终端生命周期。根据数据在平台中的传输种类将协议分为3类，包括采集数据上传协议、设备状态信息上报协议和控制指令协议。在确保通信质量的前提下，将多种异构数据封装在一个数据包中发出。目前，该协议已在微环境监测仪上实现，该设备为自主设计，此处不详细介绍。
微环境监测仪在进行数据采集时，根据预先设计的通信协议进行数据封装，具体应用规程如图2所示。对于每次仅仅发送一种传感数据的通信协议而言，采用本文设计的协议减少了冗余数据，降低了数据传输量和整体能耗[14-15]。
打包操作在终端设备单片机中完成，以打包采集数据为例，具体打包算法见表1。打包时按照采集数据上传协议进行数据传输，一次传输5种数据，协议统一采用66字节的数据包传输，如表2所示，详细规范了数据的内容和相关的格式示例，其中9～48字节代表5种数据信息。执行打包算法后，获得的具体采集数据上报实例如图3所示。
設备状态信息的上报是根据上层指令控制进行的。同样，上报时将5种设备状态统一发送，具体如表3所示，采用36字节的数据包传输，其中9～18字节为5种设备的类型和状态信息。
服务端控制命令面向用户时，用户可按照区域、节点、设备对平台内的所有设备进行控制，控制指令经过网关转发到终端设备，经过解析后下发给相应的终端设备上的传感器，命令控制协议如表4所示。
3 网络层数据传输与接收
网关在接收终端设备数据后，需要通过上位机的HTTP接口将数据远程传输到服务器端。此处上位机的作用在于承担数据转发任务，将传感网络中的数据转发到互联网中。为了保证传输层数据的实时性，提高平台的并发量和处理性能，实现采集数据的及时接收和处理，进行了高并发数据接口设计[16-17]，实现服务端高并发数据接收程序。为防止数据处理不及时造成的数据堆积，减少数据的复制和IO操作，提高平台的性能，在高并发数据接口中引入线程池技术[18]，具体结构如图4所示。
在服务端高并发数据接收程序时，对线程池框架以及具体数据处理等功能进行实现，具体执行算法如表5所示。
其中，Thread_pool结构体相当于线程管理器，是线程池与用户直接交互的接口，该结构体包含了工作线程、任务队列等。Thread_worker结构体里封装了任务接口，通过自定义DataInforAnalysis （），DeviceInforAnalysis（）以及ControlPackage（）实现该接口功能，进行数据解析和指令封装工作。线程池工作时调用pool_init（）函数在线程池中创建一定数目的线程，线程数目可以根据实际情况进行调整。PoolAddWorker（）则是把上位机数据任务加入到工作队列中，在此函数中会判断线程是否达到最大数目，根据结果决定该任务是否可以得到运行，如果任务队列中的任务都执行完后，调用Thread_taskCall（）函数，该函数会依次从任务队列中取出任务让工作线程执行。pool_destroy（）方法被调用时会判断工作线程是不是正在执行任务，如果有任务正在执行，则会等待任务执行完后再销毁线程池[19-20]。 4 系統测试与分析
4.1 测试环境
测试环境的具体配置如下。1）终端采集设备：采用自主设计的微环境监测仪，包含单片机、一系列传感器以及LoRa通信模块等；2）LoRa网关与LoRa通信模块，网关与上位机采用RS485串口交互环境；3）上位机环境：CPU为Intel（R） Core（TM）i3-2370，内存8 GB，VS2015，Windows 7操作系统；4）服务器硬件平台：内存8 GB以上，硬盘40 GB以上，Windows Server 2008操作系统，Tomcat 8.0服务器，Java 1.7开发语言，My Eclipse 8.5集成开发环境。
4.2 通信协议测试
为了验证本文所设计通信协议的高效性，分别从相同工作时间能量损耗、发送相同信息量数据节省的字节数、以及上报相同数据所耗费时间三方面与常规协议[21-22]（其他工作者根据自己需求定义的协议，大多为一次发送一条数据）进行了测试分析。由图5 a）中对比可知，随着传输数据包数量的增多，节省的字节数据也明显增多，因此在设计通信协议时，采取数据一次多发的方式是必要的，可有效降低数据的传输量。图5 b）和图5 c）中关于传输能耗以及传输耗时对比测试则表明，同样的信息量数据，通过采用一次多发的方式，可以减少发送次数，能够达到降低能耗的目的，并且消除了数据排队等待发送的时间，提升了数据实时性。此处验证了通信协议的设计达到了预期目的。
4.3 数据通信传输测试
传感数据传输的实时性以及可靠性直接关系到上层预警和决策，对系统影响很大。如图6 a）所示，数据从终端采集后到达LoRa网关耗时800 ms左右（包含了终端封装数据耗时和传输耗时），相对于其他传输环节，此处耗时偏多。从LoRa网关到上位机耗时100 ms左右，经过上位机处理后转发，最终到达服务器时耗时700 ms。因此，在实验环境下，整个传输过程共耗时1 600 ms左右，包含传输耗时以及在网关、上位机相应的数据处理耗时，在数据通信传输可接受的范围内，达到数据的实时性要求。图6 b）和图6 c）中，菱形点、矩形点、三角点以及叉点的线分别表示在局域网中该实验占用网络资源为90%，70%，50%，30%的情况下数据传输可靠率（丢包率）以及在100，80，50和10 MB的外网中的实验结果。上述结果表明，无论在局域网还是在外网环境中，随着实验可用网络资源量的减少，丢包率呈现出了增长的趋势，但在本文的测试环境中，所有实验的传输成功率均保持在98%以上，验证了数据传输的可靠性。
4.4 高并发数据接口性能测试
为了检验大数据量处理性能，分别对单线程、非线程池（多线程）以及线程池技术进行了大量的数据处理测试。设定线程池中线程数分别为2，4和8，并与非线程池技术处理性能进行对比。如图7 a）所示，可以看出线程池技术比非线程池技术有较好的处理性能。
为检验系统达到最高吞吐量时线程池中的线程数，通过ZLComDebug串口助手模拟数据进行测试，改变线程池中的线程数，取值1～12，每次模拟发送数据分别为3 000，6 000，8 000，测试结果如图7 b）所示，可以看出随着线程数增多吞吐量不断增大，当达到最大值后有一个短暂的保持阶段，此后继续增大线程数反而会使吞吐量减少。在本文特定的测试环境下，当线程数为8时，吞吐量最大。
为检验单条数据处理等待时间，分别对线程池和非线程池进行测试，测试数据100条，观察每条数据处理等待时间，测试结果如图7 c）所示，线程池每条数据处理等待时间平均为1.15 ms，非线程池每条数据处理等待时间平均为1.23 ms，通过对比说明采用线程池技术的数据均能够减少数据等待时间，并且每条数据等待时间较为均衡，避免了重要数据在较长时间内得不到处理的情况，满足数据实时性要求。
综上所述，高并发接口的采用使得在大数据量处理时每条数据平均等待时间为1.15 ms。结合延迟测试，数据从终端到网关，经过上位机最终到达服务器耗时在1 600 ms左右，分析得出数据传输耗时主要受网络状况影响，因此可通过改善通信网络状况提高数据实时性。
5 结 语
进行了传感层通信协议和协议流程设计、高并发数据接口设计以及在两者基础上的设计，实现了微环境监测平台。通过实验验证了自定义通信协议在一定程度上能够消除数据多源异构，可以很好地统一数据格式，降低数据传输量；验证了传感层协议通信流程的可行性、上位机的性能以及整个传输方案的延时性和可靠性，为传感层和传输层提供了解决方案。在此基础上设计实现的传感云平台已经运行并取得良好的效果。今后将对自定义协议进行拓展，使得每种类型数据都有与之对应的协议进行封装，并测试优化协议，以便达到简洁、高效，节省能量的效果；还将优化之前所做的工作，在通信协议设计基础上使传感层形成异构数据采集中间件工具，实现屏蔽终端异构性，接收尽可能多种类的异构数据，使之作为工具更方便地为其他系统平台所应用；相较于NB-IoT，本文采用的LoRa技术在部分场景下使用会受限，随着NB-IoT的网络部署日益完善，将逐步用NB-IoT代替LoRa技术。
参考文献/References：
[1] SINHA R S， WEI Y Q， HWANG S H. A survey on LPWA technology： LoRa and NB-IoT[J]. ICT Express， 2017， 3（1）：14-21.
[2] 杨旸.智能物联网技术和应用的发展趋势[J].中兴通讯技术，2018（2）：1-7.
YANG Yang. Trends of intelligent IoT technologies and applications[J].ZTE Technology Journal，2018（2）：1-7. [3] 叶许红. 一个基于物联网的动力和环境监控系统的设计实例[J]. 计算机科学，2012，39（sup1）：210-211.
YE Xuhong. Design case of power and environment monitoring system based on internet of things[J]. Computer Science， 2012， 39（sup1）：210-211.
[4] 张海阔，陆忠华，刘芳，等.面向海量告警数据的并行处理系统设计与实现[J].计算机工程与设计，2018，39（2）：407-413.
ZHANG Haikuo， LU Zhonghua， LIU Fang，et al. Design and implementation of mass alarm data oriented parallel processing system[J]. Computer Engineering and Design， 2018， 39（2）：407-413.
[5] 俞姝颖，吴小兵，陈贵海，等.无线传感器网络在桥梁健康监测中的应用[J].软件学报，2015，26（6）：1486-1498.
YU Shuying， WU Xiaobing， CHEN Guihai， et al. Wireless sensor networks for bridge structural health monitoring[J]. Journal of Software， 2015， 26（6）：1486-1498.
[6] 黄靓.基于智能实验室管理系统的自动化数据采集[J].电子技术与软件工程，2018（6）：182.
[7] 李贡湘，郭忠文，迟晓晨.面向即插即用的物联网传感设备数据采集系统[J].中国海洋大学学报，2013，43（5）：112-119.
LI Gongxiang， GUO Zhongwen， CHI Xiaochen. Plug-and-play data acquisition system for sensing equipment of internet of things[J]. Periodical of of Ocean University of China， 2013， 43（5）：112-119.
[8] 邓昀，李朝庆，程小辉.基于物联网的智能家居远程无线监控系统设计[J].计算机应用，2017，37（1）：159-165.
DENG Yun， LI Chaoqing， CHENG Xiaohui. Design of remote wireless monitoring system for smart home based on internet of things[J]. Journal of Computer Applications， 2017， 37（1）：159-165.
[9] 张希伟，戴海鹏，徐力杰，等.无线传感器网络中移动协助的数据收集策略[J].软件学报，2013，24（2）：198-214.
ZHANG Xiwei， DAI Haipeng， XU Lijie， et al. Mobility-assisted data gathering strategies in WSNs[J]. Journal of Software， 2013， 24（2）：198-214.
[10]左黎明，胡凯雨，张梦丽，等.铁路桥梁中基于短签名方案的监测数据传输协议[J].计算机应用，2018：2018010272.
ZUO Liming， HU Kaiyu， ZHANG Mengli， et al. Monitoring data transmission protocol based on short signature scheme in railway bridges[J].Journal of Computer Applications， 2018：2018010272.
[11]韩牟，华蕾，王良民，等.车载自组网中高效的群组协商通信协议[J].通信学报，2018，39（1）：34-45.
HAN Mu， HUA Lei，WANG Liangmin， et al. Efficient communication protocol of group negotiation in VANET[J]. Journal of Communications， 2018， 39 （1）：34-45.
[12]梁烨，洪卫军，张鸿洲.公安专用视频监控系统前端布点研究综述[J].科学技术与工程，2018，18（3）：142-152.
LIANG Ye， HONG Weijun， ZHANG Hongzhou. A review of research on front-end distribution of public security video surveillance system[J]. Science Technology and Engineering， 2018， 18（3）：142-152.
[13]王彩芬，陳丽.基于格的用户匿名三方口令认证密钥协商协议[J].通信学报，2018，39（2）：21-30.
WANG Caifen， CHEN Li. Three-party password authenticated key agreement protocol with user anonymity based on lattice[J]. Journal of Communications， 2018， 39（2）：21-30. [14]许东，操文元，孙茜. 基于CC2530的环境监测无线传感器网络节点设计[J]. 计算机应用，2013，33（sup2）：17-20.
XU Dong， CAO Wenyuan， SUN Qian. Design of wireless sensor network node for environment monitoring based on CC2530[J]. Journal of Computer Applications， 2013，33（sup2）：17-20.
[15] 张为， 李亮.多传感器数据采集技术在物联网的应用研究[J].广州大学学报（自然科学版），2012，11（3）：75-80.
ZHANG Wei， LI Liang. The application research of multisensor’s data collection technology within the internet of things[J]. Journal of Guangzhou University（Natural Science Edition）， 2012， 11（3）：75-80.
[16]張晓玲，梁炜，于海斌，等.无线传感器网络传输调度方法综述[J].通信学报，2012，33（5）：143-157.
ZHANG Xiaoling， LIANG Wei， YU Haibin， et al. Survey of transmission scheduling methods in wireless sensor networks[J]. Journal of Communications， 2012， 33（5）：143-157.
[17]张炜森，陈涛，李康.Nginx高并发负载均衡原理与策略比较研究[J].工业控制计算机，2018，31（1）：85-86.
ZHANG Weisen， CHEN Tao， LI Kang. Comparative study on principle and strategy of Nginx high concurrent load balancing[J]. Industrial Control Computer， 2018， 31（1）：85-86.
[18] 杨开杰，刘秋菊，徐汀荣.线程池的多线程并发控制技术研究[J].计算机应用与软件，2010，27（1）：168-170.
YANG Kaijie，LIU Qiuju，XU Tingrong. On multi-threaded concurrent control technology for thread pool[J].Computer Applications and Software，2010，27（1）：168-170.
[19]周超，李冬，张宝贤，等.一种面向无线传感网节点的中间件架构设计与实现[J].铁道学报，2014，36（8）：63-69.
ZHOU Chao， LI Dong， ZHANG Baoxian，et al. Design and implementation of middleware framework for wireless sensor network[J].Journal of the China Railway Society，2014，36（8）：63-69.
[20]王冰，王红胜，张剑炜，等. 异构网络环境中点对点通信架构研究[J]. 河北工业科技， 2009，26（5）：321-324.
WANG Bing， WANG Hongsheng， ZHANG Jianwei，et al. Research of peer to peer communication architecture in heterogeneous network[J]. Hebei Journal of Industrial Science and Technology， 2009，26（5）：321-324.
[21]焦东来，蒋贺，张索非，等. 面向空间信息的数据通信协议的设计与实现[J]. 计算机工程与设计，2017，38（2）：550-556.
JIAO Donglai， JIANG He， ZHANG Suofei， et al. Design and implementation of data communication protocol for spatial information[J]. Computer Engineering and Design， 2017，38 （2）：550-556.
[22]VINKOVIC S， OJSTERSK M. The internet of things communication protocol for devices with low memory footprint[J].International Journal of Ad Hoc and Ubiqutious Computing， 2014， 24（4）：10001131.
关键词：通信传输技术；微环境监测平台；无线传感网络；LoRa；异构数据；高并发接口；线程池
中图分类号：TP393 文献标志码：A
文章编号：1008-1542（2018）04-0356-09doi：10.7535/hbkd.2018yx04010
Abstract：In order to meet people's needs for limited area monitoring and solve the heterogeneous data representation， transmission and high concurrency issues， the deficiency of traditional Internet platform in sensor data acquisition and transmission is analyzed， and a micro environmental monitoring platform is realized through function module design. As for sensing layer data acquisition work， the communication protocol is designed， the data format is unified to reduce the amount of data transmission and energy consumption， and the communication protocol process is determined. LoRa technology is used to complete the remote transmission of data between the terminal and the gateway. As for the platform network layer， the high concurrency data interface is designed， using the server program to receive and process data. Finally the development and testing of the system is completed. The results show that the designed communication protocol can help unifying heterogeneous data format and reducing the quantity of data transmission and energy consumption. The feasibility， reliability and low latency of the whole transmission plan of the data collected from the terminal equipment to the gateway， through the whole PC to server are verified， as well as the processing performance of the high concurrent data interface. The stable operation of the micro-environment monitoring platform proves it is a set of data collection and transmission solution for the applications of cross-industry Internet.
Keywords：communication transmission technology； micro environment monitoring platform； wireless sensor network； LoRa； heterogeneous data； high concurrence interface； thread pool
近年來，LoRa，NB-IoT等LPWA[1]技术的发展，为物联网在各个业务领域的应用打下了基础。物联网体系结构分为感知层、网络层和应用层。感知层主要完成信息的采集、转换和收集，网络层主要完成信息的传递和处理，应用层主要完成数据管理和数据处理，并将这些数据与行业应用相结合[2]。
现存物联网系统在开展行业应用时，需为各自系统搭建传感层和网络层，导致大量重复性工作，增加了成本。单独针对各个行业的物联网应用系统都有着自己独立的数据采集、传输和存储方案，造成了各行业间数据交流不顺畅，以至于无法综合利用数据做出更为准确的分析，阻碍了为用户提供更为优质的服务[3-5]。微环境监测平台便是为解决该问题而开发的，其统一设计的传感层和传输层业务流程，可以让用户将工作重心放在应用层业务应用上。由于微环境监测平台将提供给各个行业来实现它们的业务，因此相比之前单独针对某个行业的物联网系统，其需要的传感层接入终端设备种类和数量倍增。种类繁多的低端硬件采集器和执行器以及各个厂家的设备可能互不兼容，造成数据多源异构，为数据采集、分析和应用带来难度，如何利用智能终端节点有限的资源将大量的数据进行实时、可靠的远距离传输仍是需要重点考虑的问题。因此，需通过通信协议设计，屏蔽数据异构性，统一数据格式，解决数据多源异构问题；进行高并发数据接口设计并实现服务端程序，解决大数据量并发问题[6]。 河北科技大学学报2018年第4期张永强，等：传感数据通信协议及高并发服务的设计与实现为了将多来源、多种类、多类型的海量数据及时、准确、有效、安全地整合并上传，在借鉴他人研究的基础上进行了如下研究：1）设计传感层通信协议，解决多源异构数据格式问题。协议在面向上层命令信息、底层设备状态信息和采集数据信息时，根据信息种类不同，通过数据打包并规定包中数据字段和顺序，完成数据格式的统一，屏蔽数据异构性，降低数据传输量；利用LoRa技术完成终端设备与网关之间数据的传输；利用HTTP接口，完成网关与服务端之间数据的传输与接收；2）设计高并发数据接口并实现服务端程序，通过采用线程池技术，以合理的线程数达到最大的数据处理量。通过对微环境监测平台部分功能的实现，解决了以上问题，并验证了本文的可行性与可靠性。
1 微环境监测平台系统结构
为解决不同业务应用领域的共性问题以及降低业务应用成本，建立了微环境监测平台，平台架构如图1所示。该平台传感层可接入各种设备，主要有微环境监测仪、标签类设备、计量类传感器及开关状态量传感器、监控设备等。采用自主设计的微环境监测仪进行数据采集，采集的数据经过自定义通信协议封装后，根据制定协议通信流程，采用LoRa技术将数据传输到网关；网关再通过RS485串口将数据传输到上位机，经过一定的处理（如加时间戳等）后上报至内网服务端；服务端程序通过高并发数据接口完成网关大数据接收，该接口根据预先定义的通信协议，采用线程池技术，对数据进行解析和存储，提供高并发的数据接收和处理能力。内网服务器端面对网络层大量数据上报以及用户频繁大量的访问应用层，通过采用分布式存储方案、业务分离、读写分离，包括采用MongoDB数据库集群和Redis内存数据库，为系统平台提供高并发和高速的数据存储功能。应用层在进行业务应用和对数据展现时，需要从内网服务器获取相关数据。用户在外网通过手机端和PC端访问微环境监测平台，外网和内网之间用网闸隔开，可以有效地提高平台的安全性[7-8]。
2 传感层通信协议设计
面对微环境监测平台传感层采集数据时的诸多问题：1）种类繁多的终端设备造成的数据多源异构问题，数据格式各异，不利于传输以及分析使用；2）终端节点功耗问题。为了让采集设备能够长期稳定地进行工作，必须设计相应的低功耗机制，在确保通信质量的前提下，使设备尽量节能，从而延长其生命周期；3）数据上报实时性问题。采集的数据必须及时上报，否则将失去意义[9]。本文除了在硬件层面采用低功耗的LoRa技术外，还在软件层面上进行思考和解决[10-13]。在保证多种异构数据真实性和完整性的情况下，通过通信协议设计，合理安排数据结构和数据内容， 精简、去除冗余信息，减少每个通信周期传送的数据量，降低数据发送等待时间，以此达到统一多源异构数据格式的目的，提高通信的实时性、可靠性。同时，降低能耗，延长终端生命周期。根据数据在平台中的传输种类将协议分为3类，包括采集数据上传协议、设备状态信息上报协议和控制指令协议。在确保通信质量的前提下，将多种异构数据封装在一个数据包中发出。目前，该协议已在微环境监测仪上实现，该设备为自主设计，此处不详细介绍。
微环境监测仪在进行数据采集时，根据预先设计的通信协议进行数据封装，具体应用规程如图2所示。对于每次仅仅发送一种传感数据的通信协议而言，采用本文设计的协议减少了冗余数据，降低了数据传输量和整体能耗[14-15]。
打包操作在终端设备单片机中完成，以打包采集数据为例，具体打包算法见表1。打包时按照采集数据上传协议进行数据传输，一次传输5种数据，协议统一采用66字节的数据包传输，如表2所示，详细规范了数据的内容和相关的格式示例，其中9～48字节代表5种数据信息。执行打包算法后，获得的具体采集数据上报实例如图3所示。
設备状态信息的上报是根据上层指令控制进行的。同样，上报时将5种设备状态统一发送，具体如表3所示，采用36字节的数据包传输，其中9～18字节为5种设备的类型和状态信息。
服务端控制命令面向用户时，用户可按照区域、节点、设备对平台内的所有设备进行控制，控制指令经过网关转发到终端设备，经过解析后下发给相应的终端设备上的传感器，命令控制协议如表4所示。
3 网络层数据传输与接收
网关在接收终端设备数据后，需要通过上位机的HTTP接口将数据远程传输到服务器端。此处上位机的作用在于承担数据转发任务，将传感网络中的数据转发到互联网中。为了保证传输层数据的实时性，提高平台的并发量和处理性能，实现采集数据的及时接收和处理，进行了高并发数据接口设计[16-17]，实现服务端高并发数据接收程序。为防止数据处理不及时造成的数据堆积，减少数据的复制和IO操作，提高平台的性能，在高并发数据接口中引入线程池技术[18]，具体结构如图4所示。
在服务端高并发数据接收程序时，对线程池框架以及具体数据处理等功能进行实现，具体执行算法如表5所示。
其中，Thread_pool结构体相当于线程管理器，是线程池与用户直接交互的接口，该结构体包含了工作线程、任务队列等。Thread_worker结构体里封装了任务接口，通过自定义DataInforAnalysis （），DeviceInforAnalysis（）以及ControlPackage（）实现该接口功能，进行数据解析和指令封装工作。线程池工作时调用pool_init（）函数在线程池中创建一定数目的线程，线程数目可以根据实际情况进行调整。PoolAddWorker（）则是把上位机数据任务加入到工作队列中，在此函数中会判断线程是否达到最大数目，根据结果决定该任务是否可以得到运行，如果任务队列中的任务都执行完后，调用Thread_taskCall（）函数，该函数会依次从任务队列中取出任务让工作线程执行。pool_destroy（）方法被调用时会判断工作线程是不是正在执行任务，如果有任务正在执行，则会等待任务执行完后再销毁线程池[19-20]。 4 系統测试与分析
4.1 测试环境
测试环境的具体配置如下。1）终端采集设备：采用自主设计的微环境监测仪，包含单片机、一系列传感器以及LoRa通信模块等；2）LoRa网关与LoRa通信模块，网关与上位机采用RS485串口交互环境；3）上位机环境：CPU为Intel（R） Core（TM）i3-2370，内存8 GB，VS2015，Windows 7操作系统；4）服务器硬件平台：内存8 GB以上，硬盘40 GB以上，Windows Server 2008操作系统，Tomcat 8.0服务器，Java 1.7开发语言，My Eclipse 8.5集成开发环境。
4.2 通信协议测试
为了验证本文所设计通信协议的高效性，分别从相同工作时间能量损耗、发送相同信息量数据节省的字节数、以及上报相同数据所耗费时间三方面与常规协议[21-22]（其他工作者根据自己需求定义的协议，大多为一次发送一条数据）进行了测试分析。由图5 a）中对比可知，随着传输数据包数量的增多，节省的字节数据也明显增多，因此在设计通信协议时，采取数据一次多发的方式是必要的，可有效降低数据的传输量。图5 b）和图5 c）中关于传输能耗以及传输耗时对比测试则表明，同样的信息量数据，通过采用一次多发的方式，可以减少发送次数，能够达到降低能耗的目的，并且消除了数据排队等待发送的时间，提升了数据实时性。此处验证了通信协议的设计达到了预期目的。
4.3 数据通信传输测试
传感数据传输的实时性以及可靠性直接关系到上层预警和决策，对系统影响很大。如图6 a）所示，数据从终端采集后到达LoRa网关耗时800 ms左右（包含了终端封装数据耗时和传输耗时），相对于其他传输环节，此处耗时偏多。从LoRa网关到上位机耗时100 ms左右，经过上位机处理后转发，最终到达服务器时耗时700 ms。因此，在实验环境下，整个传输过程共耗时1 600 ms左右，包含传输耗时以及在网关、上位机相应的数据处理耗时，在数据通信传输可接受的范围内，达到数据的实时性要求。图6 b）和图6 c）中，菱形点、矩形点、三角点以及叉点的线分别表示在局域网中该实验占用网络资源为90%，70%，50%，30%的情况下数据传输可靠率（丢包率）以及在100，80，50和10 MB的外网中的实验结果。上述结果表明，无论在局域网还是在外网环境中，随着实验可用网络资源量的减少，丢包率呈现出了增长的趋势，但在本文的测试环境中，所有实验的传输成功率均保持在98%以上，验证了数据传输的可靠性。
4.4 高并发数据接口性能测试
为了检验大数据量处理性能，分别对单线程、非线程池（多线程）以及线程池技术进行了大量的数据处理测试。设定线程池中线程数分别为2，4和8，并与非线程池技术处理性能进行对比。如图7 a）所示，可以看出线程池技术比非线程池技术有较好的处理性能。
为检验系统达到最高吞吐量时线程池中的线程数，通过ZLComDebug串口助手模拟数据进行测试，改变线程池中的线程数，取值1～12，每次模拟发送数据分别为3 000，6 000，8 000，测试结果如图7 b）所示，可以看出随着线程数增多吞吐量不断增大，当达到最大值后有一个短暂的保持阶段，此后继续增大线程数反而会使吞吐量减少。在本文特定的测试环境下，当线程数为8时，吞吐量最大。
为检验单条数据处理等待时间，分别对线程池和非线程池进行测试，测试数据100条，观察每条数据处理等待时间，测试结果如图7 c）所示，线程池每条数据处理等待时间平均为1.15 ms，非线程池每条数据处理等待时间平均为1.23 ms，通过对比说明采用线程池技术的数据均能够减少数据等待时间，并且每条数据等待时间较为均衡，避免了重要数据在较长时间内得不到处理的情况，满足数据实时性要求。
综上所述，高并发接口的采用使得在大数据量处理时每条数据平均等待时间为1.15 ms。结合延迟测试，数据从终端到网关，经过上位机最终到达服务器耗时在1 600 ms左右，分析得出数据传输耗时主要受网络状况影响，因此可通过改善通信网络状况提高数据实时性。
5 结 语
进行了传感层通信协议和协议流程设计、高并发数据接口设计以及在两者基础上的设计，实现了微环境监测平台。通过实验验证了自定义通信协议在一定程度上能够消除数据多源异构，可以很好地统一数据格式，降低数据传输量；验证了传感层协议通信流程的可行性、上位机的性能以及整个传输方案的延时性和可靠性，为传感层和传输层提供了解决方案。在此基础上设计实现的传感云平台已经运行并取得良好的效果。今后将对自定义协议进行拓展，使得每种类型数据都有与之对应的协议进行封装，并测试优化协议，以便达到简洁、高效，节省能量的效果；还将优化之前所做的工作，在通信协议设计基础上使传感层形成异构数据采集中间件工具，实现屏蔽终端异构性，接收尽可能多种类的异构数据，使之作为工具更方便地为其他系统平台所应用；相较于NB-IoT，本文采用的LoRa技术在部分场景下使用会受限，随着NB-IoT的网络部署日益完善，将逐步用NB-IoT代替LoRa技术。
参考文献/References：
[1] SINHA R S， WEI Y Q， HWANG S H. A survey on LPWA technology： LoRa and NB-IoT[J]. ICT Express， 2017， 3（1）：14-21.
[2] 杨旸.智能物联网技术和应用的发展趋势[J].中兴通讯技术，2018（2）：1-7.
YANG Yang. Trends of intelligent IoT technologies and applications[J].ZTE Technology Journal，2018（2）：1-7. [3] 叶许红. 一个基于物联网的动力和环境监控系统的设计实例[J]. 计算机科学，2012，39（sup1）：210-211.
YE Xuhong. Design case of power and environment monitoring system based on internet of things[J]. Computer Science， 2012， 39（sup1）：210-211.
[4] 张海阔，陆忠华，刘芳，等.面向海量告警数据的并行处理系统设计与实现[J].计算机工程与设计，2018，39（2）：407-413.
ZHANG Haikuo， LU Zhonghua， LIU Fang，et al. Design and implementation of mass alarm data oriented parallel processing system[J]. Computer Engineering and Design， 2018， 39（2）：407-413.
[5] 俞姝颖，吴小兵，陈贵海，等.无线传感器网络在桥梁健康监测中的应用[J].软件学报，2015，26（6）：1486-1498.
YU Shuying， WU Xiaobing， CHEN Guihai， et al. Wireless sensor networks for bridge structural health monitoring[J]. Journal of Software， 2015， 26（6）：1486-1498.
[6] 黄靓.基于智能实验室管理系统的自动化数据采集[J].电子技术与软件工程，2018（6）：182.
[7] 李贡湘，郭忠文，迟晓晨.面向即插即用的物联网传感设备数据采集系统[J].中国海洋大学学报，2013，43（5）：112-119.
LI Gongxiang， GUO Zhongwen， CHI Xiaochen. Plug-and-play data acquisition system for sensing equipment of internet of things[J]. Periodical of of Ocean University of China， 2013， 43（5）：112-119.
[8] 邓昀，李朝庆，程小辉.基于物联网的智能家居远程无线监控系统设计[J].计算机应用，2017，37（1）：159-165.
DENG Yun， LI Chaoqing， CHENG Xiaohui. Design of remote wireless monitoring system for smart home based on internet of things[J]. Journal of Computer Applications， 2017， 37（1）：159-165.
[9] 张希伟，戴海鹏，徐力杰，等.无线传感器网络中移动协助的数据收集策略[J].软件学报，2013，24（2）：198-214.
ZHANG Xiwei， DAI Haipeng， XU Lijie， et al. Mobility-assisted data gathering strategies in WSNs[J]. Journal of Software， 2013， 24（2）：198-214.
[10]左黎明，胡凯雨，张梦丽，等.铁路桥梁中基于短签名方案的监测数据传输协议[J].计算机应用，2018：2018010272.
ZUO Liming， HU Kaiyu， ZHANG Mengli， et al. Monitoring data transmission protocol based on short signature scheme in railway bridges[J].Journal of Computer Applications， 2018：2018010272.
[11]韩牟，华蕾，王良民，等.车载自组网中高效的群组协商通信协议[J].通信学报，2018，39（1）：34-45.
HAN Mu， HUA Lei，WANG Liangmin， et al. Efficient communication protocol of group negotiation in VANET[J]. Journal of Communications， 2018， 39 （1）：34-45.
[12]梁烨，洪卫军，张鸿洲.公安专用视频监控系统前端布点研究综述[J].科学技术与工程，2018，18（3）：142-152.
LIANG Ye， HONG Weijun， ZHANG Hongzhou. A review of research on front-end distribution of public security video surveillance system[J]. Science Technology and Engineering， 2018， 18（3）：142-152.
[13]王彩芬，陳丽.基于格的用户匿名三方口令认证密钥协商协议[J].通信学报，2018，39（2）：21-30.
WANG Caifen， CHEN Li. Three-party password authenticated key agreement protocol with user anonymity based on lattice[J]. Journal of Communications， 2018， 39（2）：21-30. [14]许东，操文元，孙茜. 基于CC2530的环境监测无线传感器网络节点设计[J]. 计算机应用，2013，33（sup2）：17-20.
XU Dong， CAO Wenyuan， SUN Qian. Design of wireless sensor network node for environment monitoring based on CC2530[J]. Journal of Computer Applications， 2013，33（sup2）：17-20.
[15] 张为， 李亮.多传感器数据采集技术在物联网的应用研究[J].广州大学学报（自然科学版），2012，11（3）：75-80.
ZHANG Wei， LI Liang. The application research of multisensor’s data collection technology within the internet of things[J]. Journal of Guangzhou University（Natural Science Edition）， 2012， 11（3）：75-80.
[16]張晓玲，梁炜，于海斌，等.无线传感器网络传输调度方法综述[J].通信学报，2012，33（5）：143-157.
ZHANG Xiaoling， LIANG Wei， YU Haibin， et al. Survey of transmission scheduling methods in wireless sensor networks[J]. Journal of Communications， 2012， 33（5）：143-157.
[17]张炜森，陈涛，李康.Nginx高并发负载均衡原理与策略比较研究[J].工业控制计算机，2018，31（1）：85-86.
ZHANG Weisen， CHEN Tao， LI Kang. Comparative study on principle and strategy of Nginx high concurrent load balancing[J]. Industrial Control Computer， 2018， 31（1）：85-86.
[18] 杨开杰，刘秋菊，徐汀荣.线程池的多线程并发控制技术研究[J].计算机应用与软件，2010，27（1）：168-170.
YANG Kaijie，LIU Qiuju，XU Tingrong. On multi-threaded concurrent control technology for thread pool[J].Computer Applications and Software，2010，27（1）：168-170.
[19]周超，李冬，张宝贤，等.一种面向无线传感网节点的中间件架构设计与实现[J].铁道学报，2014，36（8）：63-69.
ZHOU Chao， LI Dong， ZHANG Baoxian，et al. Design and implementation of middleware framework for wireless sensor network[J].Journal of the China Railway Society，2014，36（8）：63-69.
[20]王冰，王红胜，张剑炜，等. 异构网络环境中点对点通信架构研究[J]. 河北工业科技， 2009，26（5）：321-324.
WANG Bing， WANG Hongsheng， ZHANG Jianwei，et al. Research of peer to peer communication architecture in heterogeneous network[J]. Hebei Journal of Industrial Science and Technology， 2009，26（5）：321-324.
[21]焦东来，蒋贺，张索非，等. 面向空间信息的数据通信协议的设计与实现[J]. 计算机工程与设计，2017，38（2）：550-556.
JIAO Donglai， JIANG He， ZHANG Suofei， et al. Design and implementation of data communication protocol for spatial information[J]. Computer Engineering and Design， 2017，38 （2）：550-556.
[22]VINKOVIC S， OJSTERSK M. The internet of things communication protocol for devices with low memory footprint[J].International Journal of Ad Hoc and Ubiqutious Computing， 2014， 24（4）：10001131.