遥感大数据处理系统测试策略与系统优化

被引量 : 0次 | 上传用户:chinajolly66
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着全球观测时代的到来,卫星遥感信息正对人类社会发展的各个领域起着重大的促进作用,传感器分辨率的不断提高,每天产生的遥感影像也急剧增长,遥感影像作为一种特殊的大数据,以其快速获取高分辨率影像的特点占有着越来越重要的地位,海量遥感数据的快速处理成为了越来越势不可挡的需求,而目前的遥感处理软件已无法满足其需求。我国针对大规模的遥感数据以及多行业多区域的应用需求在国务院《国家中长期科学和技术发展规划纲要(2006-2020年)》中提出了16个重大专项,高分辨率对地观测系统是其中一大专项。而GF信息产品“生产线”系统项目是高分辨率对地观测系统专项的重要组成部分。本文是根据作者在参与GF信息产品“生产线”系统项目时,负责在原有遥感大数据处理系统的基础上对GF信息产品“生产线”系统架构进行测试和优化设计部分所做工作的提炼,也是遥感应用推广和遥感大数据处理的关键问题。首先,根据遥感处理系统的特性设定了测试策略并有效地进行了系统测试与分析。第二章中分析了现有遥感大数据处理系统的体系结构、技术流程、运行环境、系统组成和各模块的功能,在此基础上第三章针对集群式遥感处理系统的功能和性能的特点对原系统的测试策略进行了合理的设计和规划,如严格选定了测试环境、测试方法以及测试用例,接着对每个子系统的功能进行了测试与分析,也对系统性能如任务调度机制以及GPU加速比等进行了测试。该测试策略的测试用例条条清晰、性能指标详细具体和功能目标明确,提高了测试效率,发现并总结了现有的系统架构中不完善的地方和需要改进的技术等等,为后续的架构优化提供了可参考性,保障了系统的运行效果。其次,设计了一种新的架构—海量遥感影像的快速软硬一体化处理系统。通过对原有系统的测试,发现遥感大数据处理系统虽然具备良好的产品生产能力,但针对遥感影像的架构体系仍然相对不够成熟,仍存在响应时间和计算速度等方面的问题,所以本文在对现有系统测试分析的基础上提出了改进软硬件的优化方案,在方案中设计了Infiniband、光纤交换机、小巨人等整个系统的部署方案与软硬件配置,并且对系统流程和硬件结构都重新进行了优化设计,同时融入了有效的控制数据流、GPU处理流程优化和快速存储的新技术,本文优化设计后的架构方案能够满足大容量、高I/O带宽以及高扩展性的遥感处理系统的需求。最后,从功能和性能的角度对新架构进行了模拟测试和评价分析。对比分析优化后的各种指标和原系统的指标,包括订单处理时间的对比、多任务并发响应时间的对比、并行计算节点执行子任务的时间对比等,同时也评价了新架构的易用性、稳定性、可靠性和自适应能力。通过测试与评价,可以看出新架构高效合理地使用了集群资源,每个并行计算节点生产子任务的时间稳定在4~6秒之间,GPU处理时间相对CPU提高了40倍以上,多任务并发响应时间平均提高了78.12%,数据传输速率平均提升了78.9%。优化后的架构具备存储能力大、传输带宽高、响应能力快、检索频繁、更新频率快、系统功能配置完善的特点,不仅紧密结合了信息科技的发展趋势,而且确保了架构的正确设计和选择,为以后的维护与测试等各个阶段的拓展提供了保证。
其他文献
随着经济全球化的快速发展,人们越来越关注全球的财经时事。英文是世界通用的语言,所以大多数财经新闻都以英文进行报道。英文财经新闻不仅能作为读者了解各个国家经济政策的
企业形式上并购之后的文化整合状况 ,在很大程度上关系到并购效果乃至成败。研究企业并购中的文化冲突 ,把握企业文化整合的基本原则 ,对成功实现企业并购至关重要。
随着全球化趋势成为必然,中外政治、经济、文化等领域合作和交流日益频繁。如何更好向世界传播中国文化是提升我国文化软实力的必然要求。因而文化翻译的重要性是不言而喻。
中国的民本思想由来已久,随着我国政治、经济的进一步发展,民生档案登上了历史舞台,受到社会的普遍关注。本文立足于综合档案馆的责任以及民生档案的重要性,对民生档案进行了
莫里斯·拉威尔(Maurice Ravel,1875-1937)是法国印象派杰出代表之一。他的《G大调钢琴协奏曲》是二十世纪上半叶少量诞生出的几部钢琴协奏曲中的重要作品。他的作品既使用了
本文分析了环境污染对人类生命健康造成的危害,合成了两种Schiff碱类潜在抗癌药物,并研究了其与牛血清白蛋白(BSA)在生理pH条件下的相互作用。采用荧光光谱法和紫外-可见吸收光谱
为了研究逆投影变换方法在智能车驾驶环境信息采集中的应用,提出了一种反向求解逆投影的方法,即根据用户感兴趣的道路区域规划逆投影变换后的图像,并考虑了车道线的方向特性,
指出问题情境的创设是问题解决的关键环节 ,情境设计应遵循六项基本原则 ,并把问题情境简单地分为八类 ,提出了问题情境的评价标准
现代社会不同文化之间的交流日益频繁,电影作为传播文化信息的大众传媒手段在跨文化交流中扮演着重要角色。随着全球化进程的加快与中国电影事业的日益繁荣,为了能让中国电影