论文部分内容阅读
随着全球观测时代的到来,卫星遥感信息正对人类社会发展的各个领域起着重大的促进作用,传感器分辨率的不断提高,每天产生的遥感影像也急剧增长,遥感影像作为一种特殊的大数据,以其快速获取高分辨率影像的特点占有着越来越重要的地位,海量遥感数据的快速处理成为了越来越势不可挡的需求,而目前的遥感处理软件已无法满足其需求。我国针对大规模的遥感数据以及多行业多区域的应用需求在国务院《国家中长期科学和技术发展规划纲要(2006-2020年)》中提出了16个重大专项,高分辨率对地观测系统是其中一大专项。而GF信息产品“生产线”系统项目是高分辨率对地观测系统专项的重要组成部分。本文是根据作者在参与GF信息产品“生产线”系统项目时,负责在原有遥感大数据处理系统的基础上对GF信息产品“生产线”系统架构进行测试和优化设计部分所做工作的提炼,也是遥感应用推广和遥感大数据处理的关键问题。首先,根据遥感处理系统的特性设定了测试策略并有效地进行了系统测试与分析。第二章中分析了现有遥感大数据处理系统的体系结构、技术流程、运行环境、系统组成和各模块的功能,在此基础上第三章针对集群式遥感处理系统的功能和性能的特点对原系统的测试策略进行了合理的设计和规划,如严格选定了测试环境、测试方法以及测试用例,接着对每个子系统的功能进行了测试与分析,也对系统性能如任务调度机制以及GPU加速比等进行了测试。该测试策略的测试用例条条清晰、性能指标详细具体和功能目标明确,提高了测试效率,发现并总结了现有的系统架构中不完善的地方和需要改进的技术等等,为后续的架构优化提供了可参考性,保障了系统的运行效果。其次,设计了一种新的架构—海量遥感影像的快速软硬一体化处理系统。通过对原有系统的测试,发现遥感大数据处理系统虽然具备良好的产品生产能力,但针对遥感影像的架构体系仍然相对不够成熟,仍存在响应时间和计算速度等方面的问题,所以本文在对现有系统测试分析的基础上提出了改进软硬件的优化方案,在方案中设计了Infiniband、光纤交换机、小巨人等整个系统的部署方案与软硬件配置,并且对系统流程和硬件结构都重新进行了优化设计,同时融入了有效的控制数据流、GPU处理流程优化和快速存储的新技术,本文优化设计后的架构方案能够满足大容量、高I/O带宽以及高扩展性的遥感处理系统的需求。最后,从功能和性能的角度对新架构进行了模拟测试和评价分析。对比分析优化后的各种指标和原系统的指标,包括订单处理时间的对比、多任务并发响应时间的对比、并行计算节点执行子任务的时间对比等,同时也评价了新架构的易用性、稳定性、可靠性和自适应能力。通过测试与评价,可以看出新架构高效合理地使用了集群资源,每个并行计算节点生产子任务的时间稳定在4~6秒之间,GPU处理时间相对CPU提高了40倍以上,多任务并发响应时间平均提高了78.12%,数据传输速率平均提升了78.9%。优化后的架构具备存储能力大、传输带宽高、响应能力快、检索频繁、更新频率快、系统功能配置完善的特点,不仅紧密结合了信息科技的发展趋势,而且确保了架构的正确设计和选择,为以后的维护与测试等各个阶段的拓展提供了保证。