基于多策略的流数据查询优化方法研究

来源 :山东科技大学 | 被引量 : 0次 | 上传用户:wdwm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的发展,物联网越来越多的应用到像智能交通、智能家居、智能医疗等的智能应用行业中,以传感设备为基础的各类流式数据的实时接收和处理成为物联网智能应用的关键。  在智能交通应用中,实时采集的交通信息要进行有效的存储,为交通信息服务、交通计算、交通管理等提供数据支持。面对大规模的、快速、实时、连续不间断到达的流数据,如何实现大规模流式数据的存储以及提供高效的数据查询方法成为智能交通应用中不可避免的问题。针对这一问题,提出一种适用于物联网数据管理的结构化数据查询优化方法,在保障流数据存储的同时提供高效的数据查询能力。该方法采用数据库集群技术搭建主从数据库环境;采用数据分区技术创建分区表用于数据存储,实时接收的流数据连续不断的写入主数据库;采用主从延迟复制策略通过定时增量复制技术将数据异步复制到从数据库集群,为大规模历史数据的查询提供数据支持;采用数据缓存技术应对重复查询时的性能需求。该方法采用的数据库集群技术在应对数据并发访问的同时减少数据查询对数据写入的性能影响,采用数据分区和数据缓存技术提升单数据节点的查询性能。实验结果表明,该方法能一定程度上减少数据查询对数据写入的影响,提高海量数据的查询效率。
其他文献
2008年北京奥运会后,体育竞技项目越来越受人们欢迎。但如何更好的运用图形图像技术来实现运动员的各种运动信息的展示,也成为一个越来越热门的研究领域。冬季奥运会上的花样滑
信息时代,人们对教育提出了新的要求,Internet远程教学作为一种新的教学模式正备受关注。与传统的教学相比,基于Internet的远程教学不受时空环境的限制。它符合现代人才培养的需
搜索引擎是人们获取海量网络信息的首要工具,是网络研究和应用的关键内容。目前随着tntemet信息的爆炸增长以及信息多元化的发展,主题搜索引擎正成为研究热点与发展趋势。本文
近些年来,有关空间数据的应用与日俱增,这就对空间数据的有效管理提出了迫切要求。空间数据库是管理和处理空间数据的有效途径,它已成为当前数据库领域的研究热点,在国内外应用于
越来越多的互联网公司依赖大规模的数据分析作为其核心服务的一部分,如日志分析、特征提取和数据过滤等任务。通过其Hadoop实现,MapReduce模型已经被证明是处理此类数据的有效
基于XScale的NeuLinux开发平台是由东软集团有限公司嵌入式软件事业部为了面向高端的嵌入式市场而开发的一种软硬件平台。 在XScale开发板上,我们定制了NeuLinux嵌入式操作
VoIP俗称IP电话,它是利用国际互联网Internet作为语音传输的媒介,从而实现语音通信的一种的通信技术。当前,VoIP的业务量正在以飞快的速度增长,然而,IP电话终端设备和网关的可扩展
伴随着物联网技术的迅速发展及城市化进程的加快,智能交通应用迅速崛起。新型城市交通基础设施不断兴建,车流量快速增长,监控系统越来越庞大。通过视频识别摄像头、GPS车辆定位
目前,现有的安全产品如IDS、FW只是从特定角度满足了一部分的安全需求,而现在企业部门却急需能够对网络整体安全现状进行简单、直观、全面掌握的产品。 本文根据人民银行的
近年来,随着信息技术的不断发展和数据库技术的成熟应用,企业业务数据飞速增长,除去数据本身的信息,数据之间还蕴藏着大量的对企业管理决策有益的潜在因素。如何有效地将这种隐藏