【摘 要】
:
随着5G、人工智能和大数据等技术的发展,数据密集型工业应用需要以大规模时序数据为基础来做实时处理和分析。传统的云计算模式因具有较高的响应时延和网络带宽要求,不能适用于对时延要求苛刻的工业场景。边缘计算模式可以缓解上述问题,然而边缘计算节点有限的存储资源无法有效满足工业应用海量的时序数据存储需求。因此研究减少边缘工业时序数据产生的存储开销具有重要意义。目前减少边缘工业时序数据产生的存储开销主要面临两
论文部分内容阅读
随着5G、人工智能和大数据等技术的发展,数据密集型工业应用需要以大规模时序数据为基础来做实时处理和分析。传统的云计算模式因具有较高的响应时延和网络带宽要求,不能适用于对时延要求苛刻的工业场景。边缘计算模式可以缓解上述问题,然而边缘计算节点有限的存储资源无法有效满足工业应用海量的时序数据存储需求。因此研究减少边缘工业时序数据产生的存储开销具有重要意义。目前减少边缘工业时序数据产生的存储开销主要面临两个问题。第一,在满足工业应用实时性的要求下实现对时序数据的高效压缩。现有的解决方案存在压缩比较低和压缩时间较长的问题。第二,工业物联网中一些极其重要的时序数据通常需要以无损的方式进行存储。现有的主流时序数据库对每一种类型的数值型数据都是以统一的格式存储,存储效率有待提升。为了解决第一个问题,本文提出了一种结合预测和编码的时序数据有损压缩算法。该算法的压缩过程由预处理、预测压缩、编码压缩三个部分组成。预处理部分考虑了时序数据相邻数据段之间的趋势相关性,通过融合具有相同趋势的数据段来降低时序数据的趋势变化对预测结果的影响。预测压缩部分基于Holt指数趋势模型,本文通过对Holt指数趋势模型引入线性拟合来提升预测准确度,同时优化了预测部分的误差计算过程从而降低了算法的整体时间复杂度。经过预测压缩部分处理后的时序数据的趋势相关性较弱,考虑到编码压缩算法更适用于压缩此类数据,本算法引入了编码压缩部分。编码压缩部分采用了LFZip算法,该算法是现有的一种典型的编码压缩算法。本文给出了对所提算法的理论性能分析和实验分析,结果均表明相比于现有方法本算法在时间开销和压缩比方面具有一定优势。为了解决第二个问题,本文提出了一种基于变长编码的时序数据无损压缩算法。考虑到小整数和小浮点数的二进制形式存在位冗余的问题,本算法采用本文提出的一种变长编码规则,该编码规则通过使用短编码替换长编码来消除冗余位。本算法首先根据编码规则对每个浮点型数据或者整型数据进行编码,然后对获取的编码进行拼接,最终使得多个数据合并成一个数据,从而实现了更加高效地利用存储空间。本文给出了对该算法的完整性证明和实验分析。证明结果表明该算法符合完整性条件;实验结果表明,相比于现有方案,该算法在时间开销和压缩比方面具有一定优势。本文基于上述的第一种算法和Influx DB时序数据库设计并实现了一个工业物联网时序数据压缩存储与管理系统。该系统考虑了实际应用场景中的功能需求,实现了对时序数据的高效管理。实验测试结果表明,相比于原始的Influx DB时序数据库该系统在数据写入时间开销方面具有显著优势。
其他文献
随着我国对大气污染物排放政策愈加严格,对超细颗粒物的控制已成为各行业研究的热点。滤筒除尘器作为袋式除尘器的进一步发展,除了对超细颗粒物有极好的过滤效率外,还有着过滤面积大,运行阻力小、结构简单、清灰方便等优点。其中卧式滤筒除尘器适用于场地高度受限场所,但目前研究都偏向于传统的立式滤筒除尘器和滤筒清灰方面,对卧式滤筒除尘器流场研究较少,因此本文以常见的两种进气方式卧式滤筒除尘器为研究对象,对其内部流
近几十年来,随着工业化和城镇化不断加快,水环境污染问题日渐突出,有机废水的排放量急剧升高,其中抗生素废水已成为全球废水治理领域关注的焦点。抗生素是一种具有毒性的难降解有机污染物,其残留在水体环境中,将对动植物和生态环境产生巨大弊害。在现有抗生素废水治理工艺中,基于硫酸根自由基(SO4·-)的高级氧化技术(SR-AOPs)因其氧化能力强,反应速率快,适用范围广,操作条件易于控制及催化剂稳定性高,在抗
当前,日益突出的环境污染问题威胁着我们人类赖以生存的生态系统,其中水环境作为万物生命的来源,也正面临着严重的有机污染等问题。如何开发和利用清洁的太阳能来解决这类环境问题已经成为了研究人员的热切关注的话题之一。半导体技术凭借着其高效、耗能低且没有二次污染的优点,被视为目前解决此类环境问题最有前景的手段之一。经过多年的发展,有机半导体材料受到了人们越多的关注。与无机半导体相比,有机半导体有着许多不可比
随着因特网技术的深入发展,网络空间资源正成为一个国家重要的信息基础设施,然而网络空间安全却面临着重大的挑战,许多不法份子为了谋求私益,利用信息技术进行网络攻击危害国家和公众利益。如何识别和阻止层出不穷和千变万化的网络攻击既是国家战略也是社会需要,这其中首要的任务是研究有效的网络异常检测技术。基于深度学习的异常检测技术正受到研究人员的青睐,这些方法大多使用网络流量或者其特征集进行异常检测,但在技术上
在数字电路仿真实验教学中,因波形直观性较差而造成部分学生对实验缺乏兴趣。针对此问题,设计了一种数字电路仿真可视化系统。就可视化系统而言,搭建了以文件作为数据通道的Quartus II+Model Sim+Scratch软件结构,其中Quartus II联合第三方仿真工具Model Sim完成数字电路的设计、编译和仿真工作,Scratch负责从点击操作产生Quartus II端的激励信号以及仿真结果
2017年12月,国务院办公厅印发了《关于深化产教融合的若干意见》,推动产教融合的新教育模式,同时在全国范围内挑选出一百所典型应用型高校,实施了“十三五”应用型本科产教融合发展工程,国家支持引导应用型本科院校发展、办出特色、争创一流,通过深化产教融合、校企合作,培养更符合现代企业需要的人才。为了适应这种教育模式的深入改革,当前我国出现综合实训建设热潮,然而,目前我国绝大多数综合实训建筑都是在传统的
随着社会经济的快速发展,我国城市居住空间逐渐走向高层高密度化,与此同时,基于老龄少子化趋势逐步显化和现代城市发展理念“人本主义”的回归,儿童与城市空间之间的矛盾不断凸显成为社会关注的重点之一。自2015年起,我国多个城市响应国家儿童友好城市建设的号召,上海、深圳、长沙等城市更是将其纳入十三五规划。而社区不仅是儿童友好城市建设的基本单元,也是国家治理体系的基层单元。基于“儿童友好社区”建设的“共建共
纳米零价铁(NZVI)是一种新型环境纳米材料,具备反应活性高、比表面积大等优点,在环境污染修复领域受到了越来越多的关注。但是由于NZVI自身极易吸附团聚、钝化失活、对环境p H依赖性强的化学特性,使得NZVI技术在实际应用过程中受到了很大的限制。对此,本实验通过不同的改性方法对单纯的NZVI颗粒进行改性处理,研究改性NZVI材料催化活化亚硫酸盐的高级氧化体系对水中有机污染物的降解效能和去除机制。本
芯片图像的热点剪辑分类技术是将一系列芯片图像按照其相似程度将其归类到不同的集群中,从而减少修复工作量的一项工艺。它为工业界的可制造性设计(Design for manufacturability,DFM)应用程序的各种开发奠定了基础,如热点库生成、分层数据存储和产量优化加速等。热点剪辑分类的关键挑战在于芯片图像剪辑之间的相似度量化和剪辑的聚类,而分类效果的评判标准主要是分类效率和分类质量。在目前现
Cr(Ⅵ)因具有高毒性、不可生物降解性以及持久性而备受关注。因此,工业废水中高毒性铬的排放是环境治理领域的主要问题之一。聚吡咯(PPy)具有热稳定性高、成本低、无毒等特点,且分子中含有大量的亚氨基,具有一定的氧化还原性,对Cr(Ⅵ)具有良好的吸附能力,在环境治理领域有着广泛的应用。但由于聚吡咯分子链之间强π-π键之间的作用力,单一的聚吡咯颗粒易团聚,导致其比表面积降低、吸附活性位点减少、表面官能团