基于公共安全的大数据融合与存储管理研究

来源 :北方工业大学 | 被引量 : 1次 | 上传用户:c224224224
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,各类公共安全事件已经呈现出由非常态化的偶发向常态化频发转变的趋势,人民群众的生命财产安全正面临日益严峻的挑战。为了准确追踪和监控公共安全事件的发展演化过程,需要汇聚、融合并存储管理大量的多源异构数据。由于公共安全数据具有复杂多样且获取困难等特性,公共安全业务场景灵活多变,从而造成当前在公共安全数据集成和组织管理等方面仍存在较大的不足,这已成为制约公共安全数据科学领域发展的瓶颈。因此,研究公共安全多源异构数据的处理、融合和存储管理方法,不仅可以为突发性公共安全事件治理提供有力的数据支持,而且对大数据技术在公共安全领域的实际应用也具有较高的研究价值和意义。根据上述背景,本文主要研究工作如下:首先,围绕公共安全数据的三个主要特点,结合公共安全数据的不同管理需求,对数据接入、数据处理以及数据存储三个阶段,设计了各自的技术解决方案,提出了公共安全大数据的全链条、多层次融合与存储管理的系统整体架构。其次,研究了公共安全大数据预处理与融合方法。设计并实现了基于Kettle的公共安全大数据预处理典型架构,研究了基于二分类逻辑回归模型的“脏数据”识别及数据清洗算法;采用Apriori算法构建数据间的关联度,实现数据深度融合,通过四川历年地震数据案例对算法有效性进行了验证。最后,研究了公共安全大数据存储管理平台及数据索引方法。通过对Hadoop生态圈中数据采集工具Flume、分布式计算引擎Spark及非关系型数据库HBase的整合部署,实现了基于Hadoop生态的网络舆情数据实时存储。针对公共安全数据索引慢与数据处理效率不高的问题,提出了一种基于信息熵的公共安全数据分级索引方法。实验案例说明,该实时存储架构具有良好的可行性和可靠性。
其他文献
随着治疗方式的快速发展,消化道肿瘤病人生存期有所延长,但病人的生存质量普遍偏低,正确识别消化道肿瘤病人的支持性照顾需求并给予干预可显著改善病人的生存质量。主要回顾
"改革"是新时期高考制度优化与调整的主旋律,强调考试模式的创新改革,以适应新时期人才教育培养的需求。本文立足新高考方案,从"文理分科"的取消、评价模式的转变两个方面,阐
针对原子荧光光谱法测试中易出现的仪器零点不稳、标准工作曲线线性不佳、重现性不好等问题 ,提出了相应的处理办法。
<正> 我院风湿科在陈湘君教授指导下采用内服益气温阳、外用祛风活血方法治疗类风湿性关节炎(简称类风关)取得了较好的疗效。总有效率达92.5%。为了进一步观察该疗法
2019年,全国各级网信系统将以习近平新时代中国特色社会主义思想特别是习近平总书记关于网络强国的重要思想为指导,加快建成新一代信息基础设施,着力推动关键核心技术取得突
目的探讨养血清脑颗粒联合曲克芦丁脑蛋白水解物在后循环缺血眩晕患者中应用效果。方法选取我院后循环缺血眩晕患者71例分两组,对照组给予前列地尔治疗,观察组在对照组基础上
上世纪80年代固态器件中与电子自旋相关的电子输运现象被发现,自此一门新的学科“自旋电子学”开始兴起。近年来,随着技术的发展,具有体积小、速度快、功耗低等优势的自旋电
燃煤电厂排放的氮氧化物(NOX)是当前主要的大气污染物之一,NH3-SCR技术被认为是最佳的降低NOX排放量技术。其中V2O5-WO3/TiO2是应用最广泛的商业催化剂。但是,商业V基催化剂在
面对大数据时代的挑战,人们对高性能存储和计算芯片的需求愈加迫切。然而随着器件微缩,现有摩尔定律即将失效。另外,传统冯·诺依曼计算机架构中的数据传输瓶颈也极大地限制
<正>新闻博客作为新兴的新闻传播形式在近几年异军突起。经过短短几年的发展,博客新闻正逐渐呈现主流化的趋势,一些成功的个人新闻博客、主流大报网站的博客和某些