论文部分内容阅读
[摘 要]ArcSDE通过业务表、表空间、空间索引表三个基本索引表中的元素来实现RDBMS中矢量数据的存储和管理,如编辑过的数据还应该包括添加和删除表,其中只有业务表对用户是可见的,可以在前台应用程序中进行控制。基于此本文基于ArcSDE的空间数据库性能优化技术研究。
[关键词]ArcSDE;Oracle;空间数据索引
中图分类号:TP311.13 文献标识码:A 文章编号:1009-914X(2018)17-0390-01
一、引言
ArcSDE通过业务表、表空间、空间索引表三个基本索引表中的元素来实现RDBMS中矢量数据的存储和管理,可以在前台应用程序中进行控制。对于用户来说,空间数据的存储和管理主要是通过对业务表的读写来实现的。
二、优化主要原则
1.先进适用原则。基于ArcSDE的空间数据库性能优化项目在建设中应采用主流的技术路线和方案,信息系统硬件整合应具有先进的体系结构,从根本上保证系统运行的高效、稳定、安全,功能定位可适度超前,但应充分依据总部的实际情况和建设需求,确保系统的实用、灵活、易用、易维护和易扩展性。
2.安全可控原则。基于ArcSDE的空间数据库性能优化项目在建设中应充分考虑资源整合环境中安全防护问题,信息系统硬件资源整合后将逐步支撑公司的信息应用运营,不可避免会面临新的信息安全管理问题,应在公司现有的信息安全相关要求基础上,综合运用安全认证、信息加密、日志审计等技术手段确保对资源池环境中的用户、计算、存储、网络等资源的可视、可控、可管。
3.标准开放原则。基于ArcSDE的空间数据库性能优化项目在建设中应充分考虑技术的标准性和开放性,尤其是涉及信息系统硬件整合中核心的操作系统、虚拟化、远程管理、访问接口、安全管理等关键环节应选用标准主流的技术路线,确保所建成的系统的开放性和与公司现有信息系统架构的一致性。
4.资源利旧原则。随着资源整合工作的推进,应用信息系统会逐步迁移到资源整合平台中,产生大量腾退设备。因此,项目在建设中应充分考虑利用腾退资源,包括服务器、存储、网络等。对腾退设备进行分析,选择合适的设备进行改造后,用于资源整合项目后续建设。
基于ArcSDE的空间数据库性能优化技术研究中的间接经济效益分析:提高信息系统高可用性、提高硬件设备横向扩展能力,减少硬件设备重复投资、提高IT资源的投资成本,延长设备使用周期。延长物理服务器的有效使用周期。减少不必要的硬件扩容从而节约硬件成本。提供信息系统安全性。降低数据中心总体能耗。通过数据库资源管理模块整合,可以大幅提高现有设备的利用率,减少不必要的服务器数量,降低单台服务器的电力消耗。
三、基于ArcSDE的空间数据库性能优化
1.数据库体系结构设计。空间数据库的设计是基于Arc SDE空间数据库,为保证海量无缝数据的可用性,本系统采用DBMS服务器、Arc SDE服务器、Arc SDE Client三层体系结构,统一应用Geodatabase数据模型,即ESRI Coverage、Shape-file及Grid Raster数据之前,通过Arc Catalog转换Geodatabase数据模型,然后通过空间数据引擎Arc SDE将Oracle9i数据库加载到数据库中,保证数据的正确性、完整性、可靠性和一致性。
2.空间数据和属性数据的集成。在这个系统中,除空间数据之外,还包含了动态监测等表格和数据。基于ArcSDE的空间数据库性能优化要基于空间数据查询做好需求的分析工作,以更好的构建表格,形成空间数据和属性数据的集中。基于ArcSDE的空间数据库性能优化做好业务表的构建工作,以形成一系列相同域的属性字段。基于ArcSDE的空间数据库性能优化做好属性字段的设置工作,形成优化技术,可连接空间数据和属性数据。这样就实现了空间属性数据的集成。对于大型Oracle RAC数据库,设计采用server pool技术。该技术是将服务器集群逻辑的划分为多个服务器池,每个服务器池互不影响。当一个服务器池中的节点出现故障后,按照建池时的策略从空闲的server pool中调用服务器节点到该server pool中,重新组成新的server pool提供服务。
3.空间数据库的存储优化。由于系统采用胖客户端和瘦客户端结构,客户端负责提交用户的查询请求和数据结果显示。数据库服务器负责数据管理和对客户端请求的响应。如:一个8节点的服务器集群,分成四个server pool。其中server pool中节点的数量如下图所示。当Sales Server Pool中一个节点down了,就会从freeserver pool中调用一个节点到Sales Server Pool中重新组成一个四节点的server pool提供服务。因此,优化服务器是提高系统响应速度的关键。基于ArcSDE的空间数据库性能优化构建了DBMS服务器和空间索引的优化,能够促进数据库存储优化。
(1)基于ArcSDE的空间数据库性能优化考虑了内存的分配,在传输过程中,要充分考虑到内存的储存情况,做好实时漫游工作。基于ArcSDE的空间数据库性能优化是基于Oracle SGA的一个快速访问数据库的大型共享内存区域,以更好的促进SGA本身数据的分发,以达到快速访问数据的目的。另一方面,要做好储存数据的存储工作,以促进磁盘的移动,节省磁头位置的移动。
(2)基于ArcSDE的空间数据库性能优化能够设置空间索引的阈值来提高I/O的性能。基于ArcSDE的索引可减少I/O并避免扫描表来提高查询性能。对于基于ArcDE的空间查询,gsrvr可使用简单的规则来决定是否使用空间索引:如果空间过滤器的封装边界小于图层封装边界,则使用空间索引。如果空间过滤器只比它小一点,基于ArcSDE的空间索引只会增加I/O的性能,节省查询时间。基于ArcSDE的空间数据库性能优化需要手动设置一个稍微小一点的图层封装边界,避免在空间索引情况的使用,以减少I/O来提高性能。
四、结论
基于ArcSDE和Oracle的空间数据库的构建的大型信息系统中应用最为广泛,最为成熟的是空间数据存储与管理技术,特别是在数据级到TB级的数据存储管理中,在空间数据库建设的上述几个方面,不同的应用需求是定制设计,特别是数據模型在各个行业的应用是地理信息应用的重要问题。
参考文献
[1] 马元龙,张敏,孙力,董斌.基于ArcSDE的空间数据库优化方法研究[J].蚌埠学院学报,2016,04:23-27.
[2] 任思思,张学之,王静.基于ArcSDE的极地空间数据库设计与构建[J].测绘与空间地理信息,2013,05:156-157.
[3] 孟成,彭明军,石骞.Oracle+ArcSDE模式下空间数据库用户监控技术研究[J].地理空间信息,2013,04:43-45+186.
[4] 刘文学,赵永谦,徐公文.基于ArcSDE的空间数据库在物流管理中的应用[J].物流技术,2013,13:433-435.
[5] 秦琳.基于ArcSDE和Geodatabase的森林空间数据库构建研究[J].林业调查规划,2010,02:85-88.
[关键词]ArcSDE;Oracle;空间数据索引
中图分类号:TP311.13 文献标识码:A 文章编号:1009-914X(2018)17-0390-01
一、引言
ArcSDE通过业务表、表空间、空间索引表三个基本索引表中的元素来实现RDBMS中矢量数据的存储和管理,可以在前台应用程序中进行控制。对于用户来说,空间数据的存储和管理主要是通过对业务表的读写来实现的。
二、优化主要原则
1.先进适用原则。基于ArcSDE的空间数据库性能优化项目在建设中应采用主流的技术路线和方案,信息系统硬件整合应具有先进的体系结构,从根本上保证系统运行的高效、稳定、安全,功能定位可适度超前,但应充分依据总部的实际情况和建设需求,确保系统的实用、灵活、易用、易维护和易扩展性。
2.安全可控原则。基于ArcSDE的空间数据库性能优化项目在建设中应充分考虑资源整合环境中安全防护问题,信息系统硬件资源整合后将逐步支撑公司的信息应用运营,不可避免会面临新的信息安全管理问题,应在公司现有的信息安全相关要求基础上,综合运用安全认证、信息加密、日志审计等技术手段确保对资源池环境中的用户、计算、存储、网络等资源的可视、可控、可管。
3.标准开放原则。基于ArcSDE的空间数据库性能优化项目在建设中应充分考虑技术的标准性和开放性,尤其是涉及信息系统硬件整合中核心的操作系统、虚拟化、远程管理、访问接口、安全管理等关键环节应选用标准主流的技术路线,确保所建成的系统的开放性和与公司现有信息系统架构的一致性。
4.资源利旧原则。随着资源整合工作的推进,应用信息系统会逐步迁移到资源整合平台中,产生大量腾退设备。因此,项目在建设中应充分考虑利用腾退资源,包括服务器、存储、网络等。对腾退设备进行分析,选择合适的设备进行改造后,用于资源整合项目后续建设。
基于ArcSDE的空间数据库性能优化技术研究中的间接经济效益分析:提高信息系统高可用性、提高硬件设备横向扩展能力,减少硬件设备重复投资、提高IT资源的投资成本,延长设备使用周期。延长物理服务器的有效使用周期。减少不必要的硬件扩容从而节约硬件成本。提供信息系统安全性。降低数据中心总体能耗。通过数据库资源管理模块整合,可以大幅提高现有设备的利用率,减少不必要的服务器数量,降低单台服务器的电力消耗。
三、基于ArcSDE的空间数据库性能优化
1.数据库体系结构设计。空间数据库的设计是基于Arc SDE空间数据库,为保证海量无缝数据的可用性,本系统采用DBMS服务器、Arc SDE服务器、Arc SDE Client三层体系结构,统一应用Geodatabase数据模型,即ESRI Coverage、Shape-file及Grid Raster数据之前,通过Arc Catalog转换Geodatabase数据模型,然后通过空间数据引擎Arc SDE将Oracle9i数据库加载到数据库中,保证数据的正确性、完整性、可靠性和一致性。
2.空间数据和属性数据的集成。在这个系统中,除空间数据之外,还包含了动态监测等表格和数据。基于ArcSDE的空间数据库性能优化要基于空间数据查询做好需求的分析工作,以更好的构建表格,形成空间数据和属性数据的集中。基于ArcSDE的空间数据库性能优化做好业务表的构建工作,以形成一系列相同域的属性字段。基于ArcSDE的空间数据库性能优化做好属性字段的设置工作,形成优化技术,可连接空间数据和属性数据。这样就实现了空间属性数据的集成。对于大型Oracle RAC数据库,设计采用server pool技术。该技术是将服务器集群逻辑的划分为多个服务器池,每个服务器池互不影响。当一个服务器池中的节点出现故障后,按照建池时的策略从空闲的server pool中调用服务器节点到该server pool中,重新组成新的server pool提供服务。
3.空间数据库的存储优化。由于系统采用胖客户端和瘦客户端结构,客户端负责提交用户的查询请求和数据结果显示。数据库服务器负责数据管理和对客户端请求的响应。如:一个8节点的服务器集群,分成四个server pool。其中server pool中节点的数量如下图所示。当Sales Server Pool中一个节点down了,就会从freeserver pool中调用一个节点到Sales Server Pool中重新组成一个四节点的server pool提供服务。因此,优化服务器是提高系统响应速度的关键。基于ArcSDE的空间数据库性能优化构建了DBMS服务器和空间索引的优化,能够促进数据库存储优化。
(1)基于ArcSDE的空间数据库性能优化考虑了内存的分配,在传输过程中,要充分考虑到内存的储存情况,做好实时漫游工作。基于ArcSDE的空间数据库性能优化是基于Oracle SGA的一个快速访问数据库的大型共享内存区域,以更好的促进SGA本身数据的分发,以达到快速访问数据的目的。另一方面,要做好储存数据的存储工作,以促进磁盘的移动,节省磁头位置的移动。
(2)基于ArcSDE的空间数据库性能优化能够设置空间索引的阈值来提高I/O的性能。基于ArcSDE的索引可减少I/O并避免扫描表来提高查询性能。对于基于ArcDE的空间查询,gsrvr可使用简单的规则来决定是否使用空间索引:如果空间过滤器的封装边界小于图层封装边界,则使用空间索引。如果空间过滤器只比它小一点,基于ArcSDE的空间索引只会增加I/O的性能,节省查询时间。基于ArcSDE的空间数据库性能优化需要手动设置一个稍微小一点的图层封装边界,避免在空间索引情况的使用,以减少I/O来提高性能。
四、结论
基于ArcSDE和Oracle的空间数据库的构建的大型信息系统中应用最为广泛,最为成熟的是空间数据存储与管理技术,特别是在数据级到TB级的数据存储管理中,在空间数据库建设的上述几个方面,不同的应用需求是定制设计,特别是数據模型在各个行业的应用是地理信息应用的重要问题。
参考文献
[1] 马元龙,张敏,孙力,董斌.基于ArcSDE的空间数据库优化方法研究[J].蚌埠学院学报,2016,04:23-27.
[2] 任思思,张学之,王静.基于ArcSDE的极地空间数据库设计与构建[J].测绘与空间地理信息,2013,05:156-157.
[3] 孟成,彭明军,石骞.Oracle+ArcSDE模式下空间数据库用户监控技术研究[J].地理空间信息,2013,04:43-45+186.
[4] 刘文学,赵永谦,徐公文.基于ArcSDE的空间数据库在物流管理中的应用[J].物流技术,2013,13:433-435.
[5] 秦琳.基于ArcSDE和Geodatabase的森林空间数据库构建研究[J].林业调查规划,2010,02:85-88.