论文部分内容阅读
摘要：本文探讨了地理信息公共服务平台数据层更新面临的问题，介绍了地理空间数据的高性能计算，结合高性能计算在地理信息公共服务平台数据更新中的应用实例，对今后高性能计算在空间地理信息领域的发展进行了展望。
关键词：高性能计算；地理信息公共服务平台；地理空间数据更新
地理信息公共服务平台是针对政府、企事业单位、科研院所、公众对地理信息资源综合利用、高效服务的需求，依托测绘地理信息部门现有地理信息生产、更新与服务架构，以及投入运行的涉密与非涉密广域网物理链路，在全国不同地区宏观、中观到微观地理信息资源上开发的分布式地理信息公共服务系统。地理信息公共服务平台通常包括标准体系、基础设施、数据层、软件层、应用层和用户层等部分。
1 数据层更新面临的问题
数据层的建设是地理信息公共服务平台建设的核心任务之一。平台数据层包括矢量地图、影像、电子地图缓存瓦片、三维模型及场景、导航等其他专题数据，数据量庞大。在2011年建成的国家天地图（国家地理信息公共服务平台公众版）中，集成的基础地理数据资源总数据量约30TB。各级公共服务平台建成后，地理信息数据的现势性成为用户关注的重点。如何有效的持续更新数据层是整个平台运营的关键。
平台中海量、多元空间数据的更新是以一定的周期进行，数据集成处理工作量、耗费存储空间巨大。现有的空间数据处理技术大多数还停留在单机处理或者客户端/服务器计算模式，效率不高。尤其是对超大规模空间数据处理的效率，无法满足人们的需求。
2 地理空间数据的高性能计算
地理空间数据的高性能计算是GIS、空间分析、高性能计算技术等科学和技术交叉、融合、发展的结果。探索把高性能计算技术应用到地理空间数据处理和更新中，是否可以满足地理信息公共服务平台对强大计算能力的迫切需求，在哪些数据技术处理流程上采用高性能计算技术，如何测试和验证高性能环境下的空间数据高效处理能力，是本文探讨的主要内容。
高性能计算（HighPerformanceComputing，简称HPC）是指从体系结构、并行算法和软件开发等方面研究开发高性能计算的技术。高性能计算（HPC） 通常使用很多处理器（作为单个机器的一部分）或者某一集群中组织的多台计算机（作为单个计算资源操作）的计算系统和环境。
3 高性能计算环境下地理信息公共服务数据更新实验
3.1 高性能计算环境下影像处理实验
当前，新的遥感技术在获取高清晰、大比例尺、高现势性、短周期等特点的影像数据上取得了突破，是地理信息公共服务平台重要的更新数据源。新获取的高清影像数据量大，重叠度高，传统的单机遥感软件处理比较困难。以较低成本实现海量遥感影像快速自动化处理成为技术探索的主要方向。
目前影像自动化高效能处理是影像处理研究的热点，国内外同类软件有Pixel Factory、CIPS集群式影像处理系统、PixelGrid等。该类系统具有集群计算机系统并行分布式计算的特点，能把网络互联的高性能集群通过软件的方式进行通信和协作，以一定的任务调度策略共同完成影像数据的分布式处理工作。在影像预处理、核线影像生成、影像匹配和影像正射纠正等作业步骤上系统实现了自动化处理，从而减轻人员的工作量，提高影像处理效率。
以湖南某地区无人机数码航摄数据为例，该地区共有14条航线，868张航片，数据处理总耗时30.9小时。该地区地貌以平原为主，平均高程约为50米。影像分辨率6微米，航高400米，影像行列數3744×5616。实验的设备包括存储设备和PC集群，存储设备为16TB磁盘阵列，缓存8GB，带宽2Gbps，每台PC机配置如下： 处理器Intel（R） Core（TM）2 Quad CPU Q9550 2.8 GHZ，内存4G。影像自动化处理软件PixelGrid。
实验证明，基于集群进行大规模遥感数据的并行处理，相比其他单机遥感软件，其生产效率有明显提高，可以实现1人在短的时间内完成生产，不仅提高工作效率，由于软件的自动作业模式，可以实现夜间无人作业。该数据生产模式对于应急、救灾等突发性事件的处理有着广泛的应用，可以高效完成地理信息公共服务平台影像数据更新处理工作。
3.2 高性能计算环境下地图缓存数据处理实验
地理信息公共服务平台一般采用瓦片技术，以迅速响应大数据量、大用户量的在线地图并发访问请求。缓存地图瓦片一般是由大量的零散图片构成，2011年，国家天地图（国家地理信息公共服务平台公众版）瓦片数量近30亿张，以湖南省为例，省级平台的瓦片数量近亿张。
地图缓存瓦片的制作、检查、复制和更新的时间代价巨大。在缓存瓦片的制作工艺流程中，由于涉及大规模矢量、影像等空间数据库的访问，地图显示效率受到极大的影响，地图刷新速度慢，延长了电子地图的制作和修改的时间。创建缓存瓦片需要软件不间断运行几天甚至十几天。缓存瓦片的检查工作目前以传统的人工目视检查为主，通常会涉及原始数据、电子地图符号配置的修改。因此，为了缩短地理信息公共服务平台的缓存瓦片生产周期，加快瓦片更新发布的速度，探索高性能环境下的地图缓存处理成为了研究方向之一。
以湖南省为例，全省地图缓存瓦片的生产先后使用了中档服务器和高性能服务器进行处理，处理软件为ARCGIS。测试证明，GIS服务器和桌面应用程序能够利用到多核CPU的优势。桌面应用程序使用地图图层或是加速栅格图层，会使用到多线程来实现绘制和渲染操作，程序的用户界面反应比之前的版本更快。服务器能利用到多CPU设置，支持多并发用户进程。瓦片缓存服务可以配置为多个实例来支持并发处理，高性能服务器在地图浏览显示和瓦片处理上效率有较大提升。
4 总结与展望
本文探讨高性能计算在地理信息公共服务平台数据更新流程上的应用，以实例验证了在一定程度上该技术能够提高数据处理的效率。在经费充足的条件下，如果能增加硬件的投入，数据处理的效率将会得到更大改善。相关的实现技术还有待更深入的研究和探讨。
目前，高性能计算在地理空间领域的应用还不是很广泛。这一方面是因为地理空间算法复杂，需求多样，高性能计算技术尚难以实现成熟的应用；另一方面由于空间数据处理的高性能计算技术成本较高，阻止了相当的可能应用。我们还需要做更多的工作，提高技术的实用性，促进它在地理空间信息领域的推广和应用。
关键词：高性能计算；地理信息公共服务平台；地理空间数据更新
地理信息公共服务平台是针对政府、企事业单位、科研院所、公众对地理信息资源综合利用、高效服务的需求，依托测绘地理信息部门现有地理信息生产、更新与服务架构，以及投入运行的涉密与非涉密广域网物理链路，在全国不同地区宏观、中观到微观地理信息资源上开发的分布式地理信息公共服务系统。地理信息公共服务平台通常包括标准体系、基础设施、数据层、软件层、应用层和用户层等部分。
1 数据层更新面临的问题
数据层的建设是地理信息公共服务平台建设的核心任务之一。平台数据层包括矢量地图、影像、电子地图缓存瓦片、三维模型及场景、导航等其他专题数据，数据量庞大。在2011年建成的国家天地图（国家地理信息公共服务平台公众版）中，集成的基础地理数据资源总数据量约30TB。各级公共服务平台建成后，地理信息数据的现势性成为用户关注的重点。如何有效的持续更新数据层是整个平台运营的关键。
平台中海量、多元空间数据的更新是以一定的周期进行，数据集成处理工作量、耗费存储空间巨大。现有的空间数据处理技术大多数还停留在单机处理或者客户端/服务器计算模式，效率不高。尤其是对超大规模空间数据处理的效率，无法满足人们的需求。
2 地理空间数据的高性能计算
地理空间数据的高性能计算是GIS、空间分析、高性能计算技术等科学和技术交叉、融合、发展的结果。探索把高性能计算技术应用到地理空间数据处理和更新中，是否可以满足地理信息公共服务平台对强大计算能力的迫切需求，在哪些数据技术处理流程上采用高性能计算技术，如何测试和验证高性能环境下的空间数据高效处理能力，是本文探讨的主要内容。
高性能计算（HighPerformanceComputing，简称HPC）是指从体系结构、并行算法和软件开发等方面研究开发高性能计算的技术。高性能计算（HPC） 通常使用很多处理器（作为单个机器的一部分）或者某一集群中组织的多台计算机（作为单个计算资源操作）的计算系统和环境。
3 高性能计算环境下地理信息公共服务数据更新实验
3.1 高性能计算环境下影像处理实验
当前，新的遥感技术在获取高清晰、大比例尺、高现势性、短周期等特点的影像数据上取得了突破，是地理信息公共服务平台重要的更新数据源。新获取的高清影像数据量大，重叠度高，传统的单机遥感软件处理比较困难。以较低成本实现海量遥感影像快速自动化处理成为技术探索的主要方向。
目前影像自动化高效能处理是影像处理研究的热点，国内外同类软件有Pixel Factory、CIPS集群式影像处理系统、PixelGrid等。该类系统具有集群计算机系统并行分布式计算的特点，能把网络互联的高性能集群通过软件的方式进行通信和协作，以一定的任务调度策略共同完成影像数据的分布式处理工作。在影像预处理、核线影像生成、影像匹配和影像正射纠正等作业步骤上系统实现了自动化处理，从而减轻人员的工作量，提高影像处理效率。
以湖南某地区无人机数码航摄数据为例，该地区共有14条航线，868张航片，数据处理总耗时30.9小时。该地区地貌以平原为主，平均高程约为50米。影像分辨率6微米，航高400米，影像行列數3744×5616。实验的设备包括存储设备和PC集群，存储设备为16TB磁盘阵列，缓存8GB，带宽2Gbps，每台PC机配置如下： 处理器Intel（R） Core（TM）2 Quad CPU Q9550 2.8 GHZ，内存4G。影像自动化处理软件PixelGrid。
实验证明，基于集群进行大规模遥感数据的并行处理，相比其他单机遥感软件，其生产效率有明显提高，可以实现1人在短的时间内完成生产，不仅提高工作效率，由于软件的自动作业模式，可以实现夜间无人作业。该数据生产模式对于应急、救灾等突发性事件的处理有着广泛的应用，可以高效完成地理信息公共服务平台影像数据更新处理工作。
3.2 高性能计算环境下地图缓存数据处理实验
地理信息公共服务平台一般采用瓦片技术，以迅速响应大数据量、大用户量的在线地图并发访问请求。缓存地图瓦片一般是由大量的零散图片构成，2011年，国家天地图（国家地理信息公共服务平台公众版）瓦片数量近30亿张，以湖南省为例，省级平台的瓦片数量近亿张。
地图缓存瓦片的制作、检查、复制和更新的时间代价巨大。在缓存瓦片的制作工艺流程中，由于涉及大规模矢量、影像等空间数据库的访问，地图显示效率受到极大的影响，地图刷新速度慢，延长了电子地图的制作和修改的时间。创建缓存瓦片需要软件不间断运行几天甚至十几天。缓存瓦片的检查工作目前以传统的人工目视检查为主，通常会涉及原始数据、电子地图符号配置的修改。因此，为了缩短地理信息公共服务平台的缓存瓦片生产周期，加快瓦片更新发布的速度，探索高性能环境下的地图缓存处理成为了研究方向之一。
以湖南省为例，全省地图缓存瓦片的生产先后使用了中档服务器和高性能服务器进行处理，处理软件为ARCGIS。测试证明，GIS服务器和桌面应用程序能够利用到多核CPU的优势。桌面应用程序使用地图图层或是加速栅格图层，会使用到多线程来实现绘制和渲染操作，程序的用户界面反应比之前的版本更快。服务器能利用到多CPU设置，支持多并发用户进程。瓦片缓存服务可以配置为多个实例来支持并发处理，高性能服务器在地图浏览显示和瓦片处理上效率有较大提升。
4 总结与展望
本文探讨高性能计算在地理信息公共服务平台数据更新流程上的应用，以实例验证了在一定程度上该技术能够提高数据处理的效率。在经费充足的条件下，如果能增加硬件的投入，数据处理的效率将会得到更大改善。相关的实现技术还有待更深入的研究和探讨。
目前，高性能计算在地理空间领域的应用还不是很广泛。这一方面是因为地理空间算法复杂，需求多样，高性能计算技术尚难以实现成熟的应用；另一方面由于空间数据处理的高性能计算技术成本较高，阻止了相当的可能应用。我们还需要做更多的工作，提高技术的实用性，促进它在地理空间信息领域的推广和应用。