论文部分内容阅读
随着大数据的兴起和广泛应用,其强大的并发计算能力和数据挖掘功能已经被广泛应用到各个行业。大数据技术的发展与应用给人防建设革新带来了机遇和挑战。借助人防大数据技术,利用云平台关键技术,搭建人防战备大数据平台,能有效打破部门信息孤岛,打通现有各层级、各系统、各领域之间的数据通道,构建多渠道、精准化、实时性的大数据体系,推进政府和军事部门数据共享机制,有效提高城市抗灾应急快速反应速度和处理能力。本文以某省人防战备大数据工程的建成为研究目的,针对该区域各类人防力量数据混乱,各地人防信息数据标准不一致,人防部门之间信息孤岛严重,多部门协作困难,防空防灾应急信息化程度较低等问题,研究并实现了基于大数据的人防应急疏散指挥系统的设计与开发。论文首先了解该省人防数据现状,分析采集需求和人防数据规模,并以此为依据,将系统数据采集总分为人防基础数据采集、动态情况数据采集两大部分,并根据其特性设计了各自的采集方案。系统中所有采集数据上传至大数据中心进行海量存储。结合人防战备大数据工程实际需求,建立基于Spark on Yarn的分布式平台大数据计算中心,它融合机器学习聚类算法、大数据分析技术、概率分布技术等多种技术能对人防数据进行统计分析和数据挖掘。人防应急疏散指挥系统旨在整合人防数据采集和大数据计算两大核心模块,并结合GIS空间分析技术和地图可视化展示,成为一个完整成熟、集“战时防空,平时支援”功能一体化的人防辅助决策综合管理平台,能满足对人防部门日常业务、指挥决策、综合防护的支撑需求。人防应急疏散指挥系统主要采用B/S架构。通过终端实地采集、网络信息爬取、数据打包上传以及其它软件平台接入等多种形式完成人防数据全方位采集及存储。数据存储方面,整个平台使用Hbase为主,Redis、Mysql、MongoDB为辅的方式,多种数据库相结合保证数据操作的安全高效。数据计算方面,Spark作为大规模数据处理而设计的快速通用计算引擎,基于内存的并发计算模式提供强大的计算能力。人防应急疏散指挥系统的研究实现可以加快人防信息化建设,为地方人民防空的日常应急减灾和战时防空支援提供有效、可靠的辅助决策支持。目前该平台已投入使用,为该省人防事业保驾护航,取得了不错的反馈。