论文部分内容阅读
随着公安信息化的推进,公安系统获取数据的渠道更加多样,获得的警务数据愈加丰富,对这些警务数据处理具有极其重要的意义,不仅能够协助警务人员快速破案,在线上公共治安维护、拥塞交通疏导等社会生活各个方面都发挥着重要作用,但是现在的警务系统对警务数据处理的效率并不高,如何通过合理的任务分配实现高效的数据处理,依然面临很多问题。针对警务数据处理的任务调度问题,本文主要做了如下研究:(1)提出了基于级联的LSTM(Long Short-Term Memory)数据预测策略。由于警务数据与处理数据的征用机是分离的,因此任务必须等待数据到达后才能被执行,通过数据预测可以将预测到的数据提前处理并发给征用机或者本地化在征用机上,避免数据传输等待。利用LSTM的优势,可以根据历史任务数据预测当前数据,因为需要预测table和field两项,分开训练会失去相关性,级联的LSTM能够同时预测又不失相关性。定义了预测正确率的判断标准,实验证明预测模型的预测正确率较高,基于预测模型的系统效率明显提升。(2)提出了面向警务数据处理的任务调度策略。为了提升执行效率和减少任务失败率,提出了基于人工蜂群算法的任务调度策略和代价最小的任务重分配优化策略。由于人工蜂群算法寻优效果好、鲁棒性强等优点,将人工蜂群算法应用到警务数据处理的任务调度中,将求解连续解空间问题转化为求离散最优解,加入了向全局最优学习的能力,加速了收敛;因为基于人工蜂群的任务调度策略是一种静态分配策略,会出现分配失败进而导致任务失败的情况,通过移动已分配的任务可以实现任务重分配,为了减少重分配对后续任务的影响,提出了代价公式,选择代价最小的任务来移动,减少任务失败率。通过实验证明了任务调度策略确实能有效调度和减少任务失败率。(3)设计并实现了多层高性能分布式安全数据服务平台。设计了该平台的整体结构和业务流程,详细描述了计算中心模块、征用中心模块和数据中心模块的架构,将基于级联的LSTM的数据预测策略和面向警务数据处理的任务调度策略融入到相关模块当中,最后展示了该平台警务数据处理效果。