论文部分内容阅读
电磁大数据是随着组网雷达、电磁空间网络、无线通信等技术的发展而产生的一类新型的大数据。种类繁多的无线电台站在数量上呈现高速增长的趋势,尤其是近年来出现的高速雷达极大地提升了电磁空间探测的能力,可以实现高达10 Gbps的数据采集能力;在雷达组网形成的电磁空间网络中,甚至可以产生高达100 Gbps的大流量电磁数据。如此快速的数据生成速度对大数据存储技术提出了极大的挑战。另一方面,由于电磁空间网络的复杂性,目前很难通过构建实际的电磁空间网络来得到实际的电磁大数据。因此,采用仿真模拟的方式生成电磁大数据流是一种合理的解决方案。但是,如何模拟电磁空间网络环境并生成持续的电磁大数据流还需要研究有效的方法。本论文基于以上背景,重点研究电磁大数据快速存储技术以及电磁大数据仿真模拟两个问题。论文首先阐述了大数据存储技术的研究背景和现状,介绍了存储模型以及大数据存储平台的研究进展。在此基础上,针对电磁大数据存储的高吞吐需求,提出了一种基于轮转模型的快速存储方案;针对电磁大数据仿真模拟的需求,设计了一个基于仿真模拟的电磁大数据基准测试平台。总体而言,本论文的主要工作和贡献可归纳为以下两个方面:(1)针对电磁大数据的高吞吐存储需求,本文提出了基于轮转模型的快速存储模型RotaryDS。RotaryDS搭建在高速的电磁数据流与底层存储节点之间,通过多个数据桶的轮转,减缓高速数据流对底层存储节点的压力,从而提升整个系统的写吞吐能力。实验结果表明,这一设计可以有效提升系统的写吞吐,并且具有较好的横向扩展能力。在实际应用中,可以通过增加节点数构建大规模的轮转存储模型来支持更大规模的电磁数据流。(2)针对目前很难构建实际的电磁空间网络来开展电磁大数据性能测试问题,本文以点目标、线性调频雷达信号为基础,提出并实现了一个基于仿真模拟的电磁大数据测试平台STEM。该平台提供了灵活可配置的数据模拟方案以及友好的交互界面,能够模拟多标签、多设备的电磁大数据,生成持续的电磁大数据流,为电磁大数据相关算法的测试和技术研究提供数据支持。目前,我们将该平台应用在MongoDB之上,提供了存储性能的测试,以验证STEM的可用性及复用性。