论文部分内容阅读
随着移动通信技术的迅猛发展和频谱监测网络的不断完善,无线电监测站积累了海量的历史监测数据,数据量的急剧增加不仅给计算机硬件带来了存储压力,还给数据管理、数据分析带来挑战。本文通过对四川某地区进行长期的频谱监测,采集9KHz~3GHz范围内的频谱监测数据,利用云计算技术结合数据挖掘相关理论,对频段占用度数据进行预测分析,这对无线电监测站的管理具有重要理论价值和现实意义。因此,本文研究重点是如何从海量的历史监测数据中挖掘出频谱资源的用频规律,围绕这些内容,展开以下工作:1)针对频段占用度数据具有时序性的特点,采用求和自回归移动平均模型(Autoregressive Integrated Moving Average model,ARIMA)对多个频段占用度数据进行拟合分析,从多个角度对拟合结果进行评估,并分析ARIMA模型存在的局限性。2)针对ARIMA模型存在的局限性,将ARIMA模型引入到Kalman滤波算法中构建ARIMA-Kalman混合模型。该方法不仅能够克服ARIMA模型存在的局限性,还能很好拟合频段占用度数据,对未知时刻有很好的预测能力。3)ARIMA模型以及ARIMA-Kalman混合模型都是线性模型,无法捕捉数据中存在的非线性关系。针对这一问题,采用长短时记忆神经网络(Long Short-Term Memory,LSTM)对数据中的非线性关系进行提取,并设计了两种非线性关系提取方案。方案一,采用LSTM网络直接对数据中存在的线性和非线性关系进行提取;方案二,首先采用ARIMA-Kalman混合模型对数据中存在的线性关系进行提取。随后,采用LSTM网络对混合模型剩余残差进行非线性提取。通过对多个数据集进行仿真分析,验证两种方案的可行性。4)采用Spark平台对ARIMA-Kalman混合模型进行并行训练,分别从数据并行和模型并行两个方面对数据和模型进行设计。结果显示,Spark平台能够明显提高模型的训练速度。仿真验证了上述方法的有效性,结果表明,ARIMA-Kalman混合模型相对于其他三种方法,无论在算法复杂度,还是对未知时刻预测,均有较好表现,在实战中值得推荐使用。