航天大数据平台数据订阅系统设计与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:lastkaixin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前信息领域迎来跨越式发展,各种新技术和创新不断的提升着人们的生活质量,信息化使得各行业产生大量的数据,人们引入互联网、大数据相关技术解决这些数据处理问题。航天领域作为关系国家命脉重点领域近年来更加信息化智能化,各类数据呈现爆发式增长,传统存储模式和计算模式已经不能很好的满足海量航天数据的存储、分析、可视化需求,从互联网、大数据相关应用得到启发并将其引入航天领域解决数据分析处理的问题。航天领域数据类型多样,每种数据的处理方式不同,通过构建航天大数据平台完成数据高效安全存储管理和快速的数据分析。不同航天科研机构之间数据平台相互独立,数据之间不能完成有效共享,如何安全可靠的在不同大数据平台之间完成数据共享成为一个问题。本文研究通过数据订阅系统来解决航天大数据平台之间的数据共享问题,提升航天科技工作者协同进行数据分析处理的能力。在研究数据订阅系统过程深入调研数据共享的业务需求和航天数据的特点,着力解决了不同航天大数据平台之间的统一认证和授权问题,使得不同平台形成统一网络,实现了满足Cron Expression解析的任务调度系统满足大量元信息同步、数据文件同步、身份信息同步等周期性任务调度问题,通过对分布式文件系统HDFS以及相应数据元信息系统改造设计实现了大并发数据同步中心,满足航天大数据平台之间的可靠数据传输。数据共享系统满足安全、快速、高效的需求。在系统实现过程中,针对数据订阅系统面临的问题逐一提出解决方案,通过引入SSO单点登录技术对身份认证和用户授权分离,实现统一身份认证中心,既解决了不同大数据平台之间相互访问问题又保证平台独立安全。根据航天数据存储特点设计了元信息实时同步、文件数据基于策略同步的分离模式,保证客户端使用体验,同时通过订阅系统用户能够直接请求到被订阅平台后台数据,数据同步中心基于TCP socket协议使用C/S模型完成并发度自适应、加密安全、容错的数据同步系统,对于订阅数据类型为二进制使用MapReduce分布式计算解析处理结果的数据直接同步原始二进制文件在订阅端解析处理来减少网络通讯量。针对文件同步、元信息实时同步、平台各种定时调度任务的统一特性,引入Cron Exression定时任务语法设计实现统一任务调度系统,同时能够满足基于平台状态的MapReduce任务调度。系统由客户端和大数据平台组成,以RESTful服务方式发布订阅系统的各种控制API。本文通过有效测试验证了研究过程系统架构设计的合理性,任务调度中心满足大并发任务的均衡调度,元信息和数据文件能够按照策略同步,数据订阅系统能够解决航天大数据平台之间的数据共享问题。当前数据订阅系统已经成功上线服务于多个航天科研机构。
其他文献
2015年,我国经济增长处于下行通道中,预计全年GDP增速约为6.9%左右。展望2016年,我国经济增长在面临国际国内诸多挑战的同时,也有深化改革带来的有利因素。预计2016年中国经
随着社会经济的不断发展,我国园林绿化工程也大规模开展。施工管理工作是园林绿化建设项目的重要组成部分,直接影响到项目的整体效果以及工程质量。介绍了园林工程施工管理的
全面预算管理是利用预算对企业各部门、各单位的各种财务及非财务资源进行分配、考核、控制,以便有效地组织和协调企业的生产经营活动,完成既定的经营目标,是企业全过程,全方
<正>常见英语教师按备课预案在课堂上牵着学生步步行走。如预案本已真实留意到了学生,并切实指向了学生的学,这未尝不可。但现在的问题是,这些课大多只限于凭主观设计完成教
现在,越来越多的企业认识到:在由计划经济向市场经济转变的新形势下,企业经营战略已进入了第四个阶段——形象战略阶段,企业间已由产品和技术含量的较量,变为企业间整体形象
目的评价唑来膦酸注射液治疗维持性血液透析患者继发性甲状旁腺功能亢进合并骨质疏松的临床疗效及安全性。方法回顾性分析2013~2014年在我院行维持性血液透析治疗的继发性甲
地面铺装为构成景观设计的重要组成部分,本文针对校园空间中学生动态迹象的特点,从铺装材质、色彩、尺度、纹样、边界等要素分析地面铺装的设计要点,把握铺装的设计原则,并且
论文选择了杨庄塌陷水域作为淮南矿区中OCPs分析的典型研究区域,进行科学合理的布点采样。对研究区中水体、底泥及土壤中OCPs的残留污染特征、主要来源及转化趋势进行分析研
气溶胶污染物通过源排放以及大气物理化学转化进入大气中,同时通过大气转化和干湿沉降两种方式而从大气中去除。由于工业源、农业源、生活源、交通运输源等人为源的增长,气溶胶
为开发滩海滩海石油资源而设计的基盘单柱式钢筋混凝土平台具有结构简单的特点,依据中国船级社“海上固定平台入级与建造规范”确定的环境荷载该平台的结构强度与稳性进行计算