时间序列数据快速索引与可视化

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:jasn114
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着物联网技术的迅速发展,时间序列数据量出现了迸发式的增幅。股市行情的预测,天气变化的预测,金融分析,人口预测等等,都离不开海量时间序列数据的支持。索引与可视化成为分析这些时间序列数据的先决条件,但是时间序列数据实时产生,数据量动辄达到百万、千万甚至亿万级别,如何完成这样数据量的时间序列数据的存储、索引以及可视化充满了挑战。为了有效利用数据存储空间,时间序列数据存储采用分布式压缩存储结构,对整数、浮点数、布尔值、字符串和时间等不同类型的数据采用不同的压缩算法。每个存储节点采用日志结构化合并树的数据结构组织数据,单机查询性能好。多机查询采用二级索引方案,为数据单独建立倒排索引、前缀树结构,当产生多个数据库的联合查询时,首先通过二级索引过滤数据,减轻数据库压力。查询出的结果数据由于数据量大,维度大,无法直接进行可视化,因此对于同一维度的数据,使用分段聚合近似表示;查询结果如果包含多个维度的数据,则使用降维算法降维后可视化,这里采用随机近邻嵌入降维算法,为避免维度过多引起的拥挤问题,最终采用优化后的基于t分布的随机近邻嵌入算法。以InfluxDB为基础,构建了用于时间序列数据的存储、索引与可视化的原型系统,并基于数据中心的硬盘监测数据进行了测试。测试结果表明:该系统对上亿时序数据查询均在秒级得到查询结果,系统具有良好的查询性能。
其他文献
在人工髋关节使用一段时间后,可能需要进行翻修。在含有髋关节假体的CT影像中分割出非假体部分,并对不同骨组织给予不同的标签,是翻修髋关节手术规划的需要。自动化地准确分割出临床需要的组织将对医生提供有力的辅助。鉴于深度学习在图像分割中取得的成就,采用深层卷积神经网络作为框架。在网络模型的选择上,为了避免随着深度的加深可能出现的网络退化情况,选用了带有残差机制的3D-Res Unet网络,并在该网络的扩
学位
利用CT图像对髋关节疾病进行诊断时,需要对髋关节骨组织进行多标签分割。显然,基于深度学习的医学影像分割效果超越了传统图像分割技术,但是,该方法需要大量有标签的数据进行监督学习,而标记CT图像目标组织需要耗费相当多的人力资源。对此,设计并实现一套基于传统方法的多标签分割方法,得到接近最优的分割结果,以此为基础进行少量的人工修正,可以有效地减少人工工作量。设计的传统图像分割算法分为髋关节的粗分割和精细
学位
I/O性能已成为高性能运算系统性能提升的瓶颈。I/O日志(trace)作为系统在运行过程中记录的I/O请求信息,已被广泛应用于I/O性能分析之中。但是由于传统trace收集工具存在着资源消耗大等缺点,制约了性能评估准确性的提升。因此,trace生成工具应运而生。另一方面,生成对抗网络作为发展最迅速的生成模型之一,已经成功应用于计算机视觉、加密与安全等领域,并且在实值序列数据的生成方面具有很大的潜力
学位
COStream是一门高效的数据流编程语言,通过将通信与计算分离凸显出程序的高并行性,从而充分利用多核平台的性能。但在任务划分方面,COStream现有划分算法不具有普适性,划分各个阶段的界限模糊不清;在数据传输方面,编译器底层的缓冲区设计不够系统化,且COStream作为支持并行编程的语言,其线程同步机制也存在优化的空间。针对现有COStream任务划分存在的问题,将任务划分细分为两个阶段进行优
学位
光缆是一种电信线,在架设光缆时,如果架设的光缆与原本已经架设好的电线发生交越或搭挂,这种电信线与电力线发生交越或搭挂的场景被称为三线交越。在这种场景下,即便光缆与电力线没有直接接触,但二者可能发生耦合感应,影响光缆的寿命,也可能引起强电入侵,对人身安全产生威胁。由于上述原因,发生交越的光缆部分必须加装保护套。目前,检验光缆架设规范主要由人工完成,导致检察员工作量大。从人工施工采集获得的图像中自动检
学位
构建高质量的、大规模的数据集是机器学习取得良好效果的前提和动力。数据集的构建通常由研究人员根据实验需求进行手工标注,然而由于手工标注工作量较大、工作内容枯燥无味,往往导致标注成本过高、标注效率低下。随着机器学习领域的发展,如何提升标注效率成为亟待解决的问题。为了提升标注效率,设计并实现了一个半自动视频图像标注系统,支持对视频图像数据进行手工标注,支持调用各类视频图像处理算法预测标注结果、人工对预测
学位
通用目标检测卷积神经网络算法精度不断提升,随之而来的是计算量与参数量的爆发式增长。与之相反的是,新兴的智能交通、自动驾驶与智能安防等领域都使用嵌入式AI设备,这给卷积神经网络算法提出了新的挑战。对高性能目标检测网络进行深层次的压缩,让网络参数量大幅度降低,这在计算资源匮乏的嵌入式AI设备上部署目标检测卷积神经网络是至关重要的。昇腾NPU使用定制的达芬奇架构,如何实现快速卷积计算过程,充分发挥昇腾N
学位
目前大量的恶意软件和良性软件都通过加壳来保护自己。有数据显示,从网上下载的恶意软件中,有58%都是加壳程序,这58%的加壳程序中又有35%使用了自定义壳,因此研究一种更好的自动化脱壳方法变得越来越有必要。本文设计并实现了PyREUnpacker,一种基于动态分析的PE(Portable Executable,可移植的可执行文件)文件自动化脱壳系统。通过将样本置于虚拟机中运行,PyREUnpacke
学位
随着物联网时代的来临,准确的手势识别技术已经成为人机交互领域中众多新兴应用的基石。现有的手势识别系统主要基于相机和可穿戴设备,它们分别受限于光照条件与用户的积极配合。近些年,许多研究已经提出了一些基于无线信道状态信息(Channel State Information,CSI)的手势识别系统,在无需与用户接触的情况下实现非视距的手势识别。但是这些方法容易受到环境变动的影响,应用于新环境时都需要繁琐
学位
随着计算机和遥感技术的不断发展,人们采集、存储遥感影像数据的能力得到了很大的提升,同时基于深度学习的目标检测任务也逐渐应用于遥感影像中。使用深度学习的方法训练检测器需要大量有标签数据驱动才能获得很好的检测效果,而现实中存在海量无标签数据,所以使用这些无标签数据来辅助优化检测器具有很大的研究意义。首先,本课题分析传统基于自训练的半监督学习方法理论,依据相似性聚簇原理假设,将EM算法思想应用于半监督学
学位