面向极光形态分类的数据管理与数据服务研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:yanji0708
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在日地空间物理的研究中,极光是唯一可以通过肉眼观察到的地球物理现象。合理的极光形态分类对研究各类极光现象与地球磁层动力学过程之间的关系十分重要。随着我国极区高空大气物理观测系统的不断进步和发展,我国已经实现了对极光持续且系统的观测,为极光分类研究者开展极光形态分类研究积累了海量的高质量数据。面向极光形态分类研究,提供有效的极光数据管理和高效的数据服务,对于促进我国极地科学考察具有重要的应用价值与意义。本文针对极光形态分类研究过程中的数据管理与数据服务问题进行研究,主要贡献包括:(1)对基于机器学习和基于深度学习的极光形态分类过程进行了深入分析,将极光分类过程中产生的数据划分为三类:极光相关数据、算法相关数据和极光分类过程相关数据,并对这些数据进行了概念建模和逻辑建模。此外,为了支持极光原位分析,设计实现了基于内存数据库的快速访问原始极光数据的服务。(2)基于机器学习和深度学习生命周期管理,抽象了极光形态分类过程的步骤,建立了基于滑动窗口的重抽样算法,设计实现了基于蒙特卡洛交叉验证机制的极光形态分类过程自动迭代的数据服务。(3)为了支持极光分类研究者查询和浏览数据,设计了基于极光元数据的查询服务以及多分辨率的极光可视化浏览服务;使用感知哈希算法设计了基于内容的极光图像查询服务;设计了针对大量实验过程中产生的“训练数据-算法-模型性能”数据链的多种查询服务。(4)集成开源的大数据处理与分析框架,基于MapReduce并行计算框架实现了原始极光数据预处理的并行化;基于Spark并行计算框架实现了基于内容的极光图像查询、极光图像特征提取和基于机器学习技术的极光分类的并行化;集成深度学习框架Keras,提供深度学习模型训练和测试。(5)基于分布式PC集群的基础架构,设计实现了面向极光形态分类的数据管理与数据服务原型系统。
其他文献
P vs.NP问题一直是理论计算机科学领域中最为复杂的一个问题,已经被列为世界七大数学难题之首。P vs.NP问题已经吸引了世界上许多学者对其研究,但遗憾的是,仍然未获得被广泛
党的十八大以来,习近平总书记高度重视扶贫工作。党的第十八届五中全会从实现全面小康的视角出发,指出我国2020年在现行标准下实现全部贫困人口脱贫。农民工问题是关乎我国的
近年来,随着移动通信技术的不断发展,移动互联网技术已成为通信和互联网领域最值得关注的技术之一,我国的移动互联网通信不断发展,通信技术也在飞速发展。原有的GSM、GPRS技
光纤法布里-珀罗传感器是一种体积小、结构简单、成本低、测量精度高、检测范围大的光纤传感器,易于产品化,已经被广泛用于民用工程、航空航天等领域的应变、温度、压力等物
近年来,由于无标签数据易于获得,对其分析的需求越来越高。无监督聚类算法一直是面向无标签数据的机器学习算法研究和实际应用的热点。多核学习在聚类算法中有重要影响力,针
随着信息技术的快速发展,各种行业应用中对多源异构数据的处理量飞速增长,如何对其进行高效的整合是是数据应用中的核心问题。然而,现有的数据整合工具在扩展性、性能、功能
近来,随着信息技术的高速发展,各行各业的数据积累都呈爆炸式增长,这意味着我们已经进入了大数据时代。大数据主要体现在两方面:数据量和数据维度的不断增长以及数据类型的日
众所周知,传统条件下的数字芯核水印保护技术已经被广泛地应用在了数字图像、视频和文本等多种多媒体载体文件上。传统条件下的数字芯核水印保护技术因其操作较为简单、技术
图像作为人类感受与认识世界主要方法,与我们的生活密切相关。而提取图像中关键有用信息进而协助人类研究才是图像本身的价值所在,所以数字图像处理技术便成了计算机领域一个
本文面向RoboCup中型组足球机器人比赛,根据比赛对机器人系统提出的更高要求,在国防科技大学NuBot机器人团队五代足球机器人的技术积累上,设计了第六代NuBot足球机器人系统,