【摘 要】
:
近年来,随着我国遥感技术的快速发展,遥感数据呈现出大数据的特点,遥感数据的时效性增强,多源遥感算法日益增多,算法程序的运行和部署环境多样,传统的方法进行开发集成时,由于不同的算法程序可能是不同的人员编写的,开发语言和环境多种多样,配置复杂,很难进行有效的集成,如果统一改成特定语言环境,影响集成效率。在系统部署时,会耗费过多的资源。难以进行高效的快速集成和部署,不利于遥感数据的快速行业应用。已有的遥
【出 处】
:
中国科学院大学(中国科学院遥感与数字地球研究所)
论文部分内容阅读
近年来,随着我国遥感技术的快速发展,遥感数据呈现出大数据的特点,遥感数据的时效性增强,多源遥感算法日益增多,算法程序的运行和部署环境多样,传统的方法进行开发集成时,由于不同的算法程序可能是不同的人员编写的,开发语言和环境多种多样,配置复杂,很难进行有效的集成,如果统一改成特定语言环境,影响集成效率。在系统部署时,会耗费过多的资源。难以进行高效的快速集成和部署,不利于遥感数据的快速行业应用。已有的遥感图像处理软件如ENVI等,二次开发环境单一,遥感云服务平台如Google Earth Engine提供在线定制化遥感信息产品生产服务,但仍需要个体去学习使用这些API来编写自己的算法脚本以使用这些云计算平台,不能满足算法程序无需改变即插即用的需求。因此,针对上述问题和需求,本文提出并实现了一套基于Docker容器技术的面向遥感信息产品生产的算法程序集成方案。支持不同的编程语言和运行环境差异、支持不同生产流程的编排、支持数据分布式存储及分布式高效计算。该系统设计主要包括镜像的自动化封装,镜像的持续集成,容器的编排和调度,容器的集群运行四个方面。主要流程包括:首先将遥感算法程序及其依赖环境编写为Dockerfile文件,然后将程序代码或可执行程序和Dockerfile文件上传到Gitlab进行代码托管,利用Jenkins的Pipeline工作流插件进行镜像的持续化构建,之后将镜像上传到镜像仓库。根据遥感信息产品生产流程,设计实现了一个基于JAVA开发环境的调度引擎平台,实现不同生产流程的容器编排。最后创建了一个Swarm容器集群环境和GlusterFS分布式文件系统,作为容器运行环境和集群中遥感数据的存储与管理环境。本文以Landsat数据的典型遥感指数产品生产、高分一号影像数据的RPC校正为例进行系统的验证分析。对指数产品生产在容器环境下和物理机环境下在运行时间、内存占用量、部署效率等性能上进行了对比,结果表明Docker虚拟化环境下的产品生产和物理机环境下运算性能几无差别,在部署上能够节省大量时间。本文进行上述研究的意义在于:将不同开发语言环境下的遥感算法程序进行镜像封装,不需要考虑各个算法程序的环境差异,对于遥感算法研究人员来说,有利于遥感算法程序的复用和流程的共享。对于遥感算法程序的使用者来说,在部署时,只需要考虑容器环境的安装,能够实现程序的一键部署。利用容器集群进行遥感信息产品生产,相比于虚拟机能够节省物理资源,提高处理效率。
其他文献
我国属于多山地形,随着高速公路的迅猛发展,公路隧道的数量日益增多。隧道照明是行车安全的重要保证,但目前隧道照度指标测试仍采用人工方式开展,这种方式存在测试效率低下、后期数据处理工作量大、人员易疲劳的缺点,且长时间滞留隧道内增加了发生事故的风险。为了有效解决上述问题,特提出一种照度自动采集及分析设备的研发。本论文所做主要工作如下:在分析国内外相关研究现状的基础上,首先进行光照度测试原理研究、测试方法
车辆换道是一种常见驾驶行为,很大程度上影响着车辆的运行安全。由于车辆换道导致的交通拥堵和交通事故问题十分普遍,特别是高速公路上换道行为导致的交通事故,严重危害人们
胥敬祥案历时13年,整个案件引起了民众的广泛关注。然而,理论界过多关注的是案件的定性和量刑,对案件中存在的程序性问题却没有用大量的文章来涉及。为了实现不放纵任何一名
水可以羟基的形式广泛存在于上地幔的名义上无水矿物中,例如:橄榄石、辉石、石榴子石等,并对矿物的物理化学性质、组构和流变学性质有着重要影响。前人已发现克拉通金伯利岩
随着我国城市化进程飞速向前,地铁成为人们出行不可或缺的公共交通工具。地铁列车作为地铁行车核心载体,直接影响着地铁运营安全。本文通过研究西安地铁车辆系统运营风险管理,为提升西安地铁风险管理水平,控制车辆运营风险提供对策建议。本文以西安地铁车辆系统运营风险管理作为研究对象,首先介绍了地铁车辆系统运营风险管理的含义,并以风险管理理论和公共物品理论作为文章的理论基础。其次,文章描述了西安地铁车辆系统运营风
在“互联网+”时代背景下,iphone、Android等移动多媒体通信设备大量涌入人们的日常生活中。这些无线通信设备依靠其方便、快捷等特性快速发展起来,成为信息消费中一项重要的
为了缓解国内的能源不足情况,建设安全、经济、清洁、可持续的电力系统,结合我国能源和负荷逆向分布的特点,在我国建设了多个大规模风电基地,并以集中式接入电网,送往负荷中心。尽管针对风电集群,国内外各研究机构已经提出了很多具有可实施性的有功控制方法,并进行了示范应用,降低了大规模风电集群的集中接入对电网的影响程度,但是对其实际控制效果进行综合评价的相关研究较少。因此,有必要综合考虑各方面因素,对风电集群
最低质量标准政策是一种常见的质量规制手段,但是其市场有效性一直存在较大的争议。本文通过构建基于纵向质量差异的双寡头竞争模型,分析了最低质量标准政策的有效性及其社会
聚烯烃工业的进步标志着一个国家的石油化学工业的进步,支化聚乙烯作为高分子材料中应用最为广泛的材料,其应用涉及各个领域。聚烯烃发展最为重要的是催化剂,催化剂可以控制催化活性,改变催化剂结构可以控制聚乙烯性能。α-二亚胺催化剂具有单活性中心、活性高、稳定性好的优点,但热稳定性差,粘釜的问题一直限制着其工业化发展。通常,将均相催化剂的负载化视为解决这些问题的一条重要途径。本文设计合成了一系列带有不同羟基
百老汇音乐剧《拜访森林》由《灰姑娘》等四篇经典童话改写、创编而成,建构了一个从最初寻求理想愿望到最终自我审视反思的当代成人童话故事。编创者桑德海姆和拉平恩颠覆了传统童话的程式化结局和价值模式,展开了对人性的深刻探讨,使得这部作品获誉无数。论文由绪论和正文三章论述组成,以经典童话与《拜访森林》的文本符号、叙事层面、主题意义三方面的互文关联为脉络,比较了童话的书面文本与音乐剧文本之间符号的互文关系,探