论文部分内容阅读
[摘要]在国土资源"一张图"工程建设的数据库建设中，多源异构数据清理整合入库是一项头绪多、关联度高的工作，为最大限度地实现数据有效利用，作者就其清理整合方法及转换技术进行了探讨。
[关键词]国土资源"一张图" 多源异构数据 清理整合 转换 探讨
[中图分类号] F293.2 [文献码] B [文章编号] 1000-405X（2015）-4-408-1
1概述
当前，江苏省如皋市正在全面部署“智慧城市”建设工作。“智慧城市”涉及空间地理、城市管理、医疗教育等众多领域，国土资源“一张图”工程建设是其中的一个重要组成部分。“一张图”是指按照统一的要求和标准，收集、清理、整合在不同系统平台中运行的格式多样、标准不一、尺度不一的多源异构数据，建成有统一基础底图，多种专题信息有机组合的核心数据库，并提供信息的交互查询、空间分析、数据共享，推动国土资源公共服务的便民利民，为江苏省国土厅推广“四全”行政审批服务模式（全流程优化审批、全区域便民服务、全业务网上办理、全节点效能监管）提供基础保障和技术支撑。“一张图”工程系统的运行服务建立在海量数据处理的基础之上，因此数据库建设又是“一张图”工程最核心的内容。
2“一张图”数据库建设的目标任务
按照部、省规定的数据库建设标准，整合二调、规划修编和基础地理数据，全面清理整合各类历史数据，并根据相关规范，统一空间定位基准、分类编码、坐标系统、数据格式、统计口径，约束入库数据的条件、格式和标准，建成ARCGIS格式的“一张图”核心数据库，达到在同一体系下各类数据的信息同步和共享。
3如皋市国土资源数据现状
3.1基础地理数据方面
（1）建成多比例尺基础地理数据库：如皋市城区80 km2 1：500地形图数据库、全市1400km21：1000和1：5000地形图数据库。数据格式为基于南方CASS平台下的DWG格式。
（2）建成不同年代的全市高精度正射影像图（DOM）数据库，数字高程模型（DEM）数据库正在建设中。
（3）在旧城改造中发挥重要确权作用的1987年如皋城区1：500航图保存完好。
（4）初步建成如皋市基础地理信息公共服务平台，正为“智慧城市”系统提供位置服务。
3.2国土专题数据库方面
建设完成了除矿产资源外的影像、土地利用规划、基本农田、土地利用现状、地籍，土地开发整理、登记发证等数据库，同时依托业务系统，形成了土地征、供、用等业务数据库。
4存在问题
（1）数据信息收集难度较大。多年来，如皋市虽然积累了大量的基础、专业和管理数据，但还停留在不同系统、不同部门、不同单位内部使用，各个系统之间网络不共享，审批信息不联通，有的业务系统以传统的表单审批为主，审批过程无法与图形数据关联，有时无法进行历史追溯，造成有的地块重复批准、边界重叠等，历史较长的批文也难以查清，收集难度很大。
（2）数据整合工作量大，更新难度高。如皋市的信息化建设开展较早，初始阶段开发水平较低、资金投入不足，各应用部门总是根据各自的情况和需求选择不同的采集方式和软件，产生了数据格式、结构、尺度等不相同的海量数据，有时同一组数据还要在几个平台多次录入，不但增加了工作人员的工作量，而且产生了大量冗余数据，更增加了数据整合转换更新的难度。
5多源异构数据整合转换技术探讨
国土资源数据多源、异构、多态和海量的等特征，决定了数据的清理整合是一项复杂、艰巨而又繁琐的任务。因此，对照部、省数据库标准和数据建库指南及核心数据库建库标准，以业务管理为主线，理清数据关系、数据结构、数据格式、数据质量等关键信息，统一空间定位基准、统一分类编码、统一坐标系统、统一数据格式、合理确定数据清理整合方法，是该项工作的关键所在。下面就多源异构数据的清理整合转换结合实际作些探讨。
5.1数据的收集
对国土系统内部各业务科室和单位的历史台帐、档案信息、图件资料要充分收集利用，并逐一登记备案。借助“智慧城市”建设的有利时机，建立数据汇交制度，与系统外其他审批部门形成规划图件、审批数据的集成共享。
5.2数据分析和预处理
（1）调查数据来源，详细记录各数据的生产单位、图形范围、年份、比例尺、投影坐标等信息。2005年以后的数据确保全部入库，2005年前的数据根据经费、人力、物力及数据利用价值、确定是否梳理入库。对需入库的纸质台帐进行数字化处理，纸质地图进行扫描矢量化，纸质档案要求图形图面整洁、规范，不符合规范的或者参数不协调的应人工进行图面参数美化。数字化完成后进行图属关联匹配，建立对应关系。
（2）进行合理专题分类，综合取舍、确定对应关系、生成拓扑关系，确保整合转换后重要数据信息的完整。如对于CAD数据，一是先要把图形元素（点、线、面、多义线、块、文字等）按专题性质分类分层，使CAD图形中的一层对应ARCGIS的一个专题，并按照简单、唯一、可扩充、易识别、完整性的原则进行编码；二是确定CAD图形中的图形元素哪些需要向ARCGIS转换；三是要在CAD和ARCGIS中建立一一对应的点状符号库、线型库和图案库。
（3）对不同专题的数据进行必要的计算机自动、半自动、人工抽查、如属性检查、拓扑检查、完善图层属性，不全部分调取纸质档案。
5.3数据的整合转换
5.3.1从南方CASS到ArcGIS数据格式的转换
数据格式转换是数据集成的关键。根据方案，入库数据均为ArcGIS格式。因此要将如皋目前存在的基于南方CASS平台的dwg数据、MapInfo、MapGIS数据及遥感影像数据转换成ArcGIS数据。目前如皋广泛使用ArcGIS9.3和CASS9.1这两个版本的软件，下面简要介绍如何在ArcGIS中导入CAD数据。 5.3.1.1在ArcToolbox中创建ETL工具
（1）利用ArcToolbox创建工具箱，名为“CASS2ARC”，右健创建ETL工具（该操作需要具有许可，如果提示许可不够，通过ArcMap-Tools-extensions菜单项设置）。
（2）根据向导提示，设置源数据格式（DWG），设置源数据路径。
（3）设置目标数据格式（可设置为GDB，或SHP、MDB等ArcGIS支持的格式）。
（4）默认下一步，直到完成，弹出Spatial ETL Tool设计界面。
5.3.1.2设计ETL工具
（1）暴露相应属性，例如CASS编码、房屋结构、图层等。
（2）添加Joiner转换器，以便将CASS编码按对照表转换为ArcGIS数据属性。
（3）单击运行，设置数据输出位置，开始输出，完成转换。
5.3.1.3转换难点
（1）为确保数据不丢失，CAD数据中的多义线在转入之前必须闭合；
（2）用delete field删除无用的字段，避免产生大量冗余数据；
（3）尽量使用高一版本的AutoCAD和ArcGIS软件，能有效降低出现乱码的机率。
5.3.2坐标系统的转换
（1）准备3个以上能覆盖要转换数据所在地区公共点（即同时拥有两套坐标，如皋独立坐标可以通过GPS坐标联测的方法获取公共点坐标）。打开CASS9.1，选择“地物编辑”-“坐标转换”，进入转换界面，在“公共点”下面“转换前”后面的三个输入框中输入第一个公共点的54 坐标，再在“转换后”的三个输入框中输入该点的80 西安坐标，点击“添加”， 照此输入其他几个点的“54、80 ”坐标。 在“转换前”输入框中输入54 坐标数据的文件路径及文件名，在“转换后”输入框中输入转换后的文件名。
（2）如仅有3个已知点，点击“计算转换四参数”，5个或以上己知点则选择转换前、后的坐标系统及转换点所在的中央子午线，点击“计算转换七参数”。
（3）点击“转换数据”，输入计算出的“四参数”或“七参数”完成公共点的坐标转换。
（4）选择图形转换，进行整个区域图形数据的转换。
5.3.3多尺度异构数据的集成
（1）将权属代码转为乡镇代码XZDM，TEXT，长度为9；
（2）在ArcCatalog 中创建“如皋.mdb”文件， 导入数据，右击如皋.mdb，选“import”名称中去掉自动加入部分，将地类图斑数据改为如“如皋.地类图斑1”， 保存为地图文档“如皋.mxd”。
（3）将地类图斑按字段“XZDM”和“GHDL”进行Disslove。 打散数据，记录合并前后图斑数量。
（4）导出SHP 文件，再导入MDB 中， 更名为“如皋地类.图班”，更新面积数据。
5.4数据的质量控制检查
（1）结合历史台帐，检查空间实体和历史台帐信息是否丢失；
（2）结合具体时间段历史影像，检查空间实体位置无偏移；
（3）确保同一类要素空间实体无重叠、几何精度符合要求
（4）确保数据无逻辑性错误。
5.5数据的装载入库和更新
数据装载主要是指将转换并清理后的数据按照各个专题的目标库进行配置，确保各年度的历史数据、台帐信息能够统一加载到指定的物理区域中，形成核心数据库。
国土业务每天都在进行，每年都会产生大量的数据，建立和完善数据汇交更新机制才能真正利用“一张图”实现“四全”服务模式，跟上“智慧城市”建设的步伐。日常工作中严格按照“谁生产谁负责人”的原则，以“时点变更为基础、实时变更为目标”，根据数据产生的特点进行批量更新、增量更新、同步更新。如对于基础地理数据采用不定期批量更新，对于土地利用规划、土地利用现状、基本农田保护数据等专业数据，采用增量定期更新，对于地籍、建设用地审批、执法监察等管理数据库，采取增量实时更新的方法。
[关键词]国土资源"一张图" 多源异构数据 清理整合 转换 探讨
[中图分类号] F293.2 [文献码] B [文章编号] 1000-405X（2015）-4-408-1
1概述
当前，江苏省如皋市正在全面部署“智慧城市”建设工作。“智慧城市”涉及空间地理、城市管理、医疗教育等众多领域，国土资源“一张图”工程建设是其中的一个重要组成部分。“一张图”是指按照统一的要求和标准，收集、清理、整合在不同系统平台中运行的格式多样、标准不一、尺度不一的多源异构数据，建成有统一基础底图，多种专题信息有机组合的核心数据库，并提供信息的交互查询、空间分析、数据共享，推动国土资源公共服务的便民利民，为江苏省国土厅推广“四全”行政审批服务模式（全流程优化审批、全区域便民服务、全业务网上办理、全节点效能监管）提供基础保障和技术支撑。“一张图”工程系统的运行服务建立在海量数据处理的基础之上，因此数据库建设又是“一张图”工程最核心的内容。
2“一张图”数据库建设的目标任务
按照部、省规定的数据库建设标准，整合二调、规划修编和基础地理数据，全面清理整合各类历史数据，并根据相关规范，统一空间定位基准、分类编码、坐标系统、数据格式、统计口径，约束入库数据的条件、格式和标准，建成ARCGIS格式的“一张图”核心数据库，达到在同一体系下各类数据的信息同步和共享。
3如皋市国土资源数据现状
3.1基础地理数据方面
（1）建成多比例尺基础地理数据库：如皋市城区80 km2 1：500地形图数据库、全市1400km21：1000和1：5000地形图数据库。数据格式为基于南方CASS平台下的DWG格式。
（2）建成不同年代的全市高精度正射影像图（DOM）数据库，数字高程模型（DEM）数据库正在建设中。
（3）在旧城改造中发挥重要确权作用的1987年如皋城区1：500航图保存完好。
（4）初步建成如皋市基础地理信息公共服务平台，正为“智慧城市”系统提供位置服务。
3.2国土专题数据库方面
建设完成了除矿产资源外的影像、土地利用规划、基本农田、土地利用现状、地籍，土地开发整理、登记发证等数据库，同时依托业务系统，形成了土地征、供、用等业务数据库。
4存在问题
（1）数据信息收集难度较大。多年来，如皋市虽然积累了大量的基础、专业和管理数据，但还停留在不同系统、不同部门、不同单位内部使用，各个系统之间网络不共享，审批信息不联通，有的业务系统以传统的表单审批为主，审批过程无法与图形数据关联，有时无法进行历史追溯，造成有的地块重复批准、边界重叠等，历史较长的批文也难以查清，收集难度很大。
（2）数据整合工作量大，更新难度高。如皋市的信息化建设开展较早，初始阶段开发水平较低、资金投入不足，各应用部门总是根据各自的情况和需求选择不同的采集方式和软件，产生了数据格式、结构、尺度等不相同的海量数据，有时同一组数据还要在几个平台多次录入，不但增加了工作人员的工作量，而且产生了大量冗余数据，更增加了数据整合转换更新的难度。
5多源异构数据整合转换技术探讨
国土资源数据多源、异构、多态和海量的等特征，决定了数据的清理整合是一项复杂、艰巨而又繁琐的任务。因此，对照部、省数据库标准和数据建库指南及核心数据库建库标准，以业务管理为主线，理清数据关系、数据结构、数据格式、数据质量等关键信息，统一空间定位基准、统一分类编码、统一坐标系统、统一数据格式、合理确定数据清理整合方法，是该项工作的关键所在。下面就多源异构数据的清理整合转换结合实际作些探讨。
5.1数据的收集
对国土系统内部各业务科室和单位的历史台帐、档案信息、图件资料要充分收集利用，并逐一登记备案。借助“智慧城市”建设的有利时机，建立数据汇交制度，与系统外其他审批部门形成规划图件、审批数据的集成共享。
5.2数据分析和预处理
（1）调查数据来源，详细记录各数据的生产单位、图形范围、年份、比例尺、投影坐标等信息。2005年以后的数据确保全部入库，2005年前的数据根据经费、人力、物力及数据利用价值、确定是否梳理入库。对需入库的纸质台帐进行数字化处理，纸质地图进行扫描矢量化，纸质档案要求图形图面整洁、规范，不符合规范的或者参数不协调的应人工进行图面参数美化。数字化完成后进行图属关联匹配，建立对应关系。
（2）进行合理专题分类，综合取舍、确定对应关系、生成拓扑关系，确保整合转换后重要数据信息的完整。如对于CAD数据，一是先要把图形元素（点、线、面、多义线、块、文字等）按专题性质分类分层，使CAD图形中的一层对应ARCGIS的一个专题，并按照简单、唯一、可扩充、易识别、完整性的原则进行编码；二是确定CAD图形中的图形元素哪些需要向ARCGIS转换；三是要在CAD和ARCGIS中建立一一对应的点状符号库、线型库和图案库。
（3）对不同专题的数据进行必要的计算机自动、半自动、人工抽查、如属性检查、拓扑检查、完善图层属性，不全部分调取纸质档案。
5.3数据的整合转换
5.3.1从南方CASS到ArcGIS数据格式的转换
数据格式转换是数据集成的关键。根据方案，入库数据均为ArcGIS格式。因此要将如皋目前存在的基于南方CASS平台的dwg数据、MapInfo、MapGIS数据及遥感影像数据转换成ArcGIS数据。目前如皋广泛使用ArcGIS9.3和CASS9.1这两个版本的软件，下面简要介绍如何在ArcGIS中导入CAD数据。 5.3.1.1在ArcToolbox中创建ETL工具
（1）利用ArcToolbox创建工具箱，名为“CASS2ARC”，右健创建ETL工具（该操作需要具有许可，如果提示许可不够，通过ArcMap-Tools-extensions菜单项设置）。
（2）根据向导提示，设置源数据格式（DWG），设置源数据路径。
（3）设置目标数据格式（可设置为GDB，或SHP、MDB等ArcGIS支持的格式）。
（4）默认下一步，直到完成，弹出Spatial ETL Tool设计界面。
5.3.1.2设计ETL工具
（1）暴露相应属性，例如CASS编码、房屋结构、图层等。
（2）添加Joiner转换器，以便将CASS编码按对照表转换为ArcGIS数据属性。
（3）单击运行，设置数据输出位置，开始输出，完成转换。
5.3.1.3转换难点
（1）为确保数据不丢失，CAD数据中的多义线在转入之前必须闭合；
（2）用delete field删除无用的字段，避免产生大量冗余数据；
（3）尽量使用高一版本的AutoCAD和ArcGIS软件，能有效降低出现乱码的机率。
5.3.2坐标系统的转换
（1）准备3个以上能覆盖要转换数据所在地区公共点（即同时拥有两套坐标，如皋独立坐标可以通过GPS坐标联测的方法获取公共点坐标）。打开CASS9.1，选择“地物编辑”-“坐标转换”，进入转换界面，在“公共点”下面“转换前”后面的三个输入框中输入第一个公共点的54 坐标，再在“转换后”的三个输入框中输入该点的80 西安坐标，点击“添加”， 照此输入其他几个点的“54、80 ”坐标。 在“转换前”输入框中输入54 坐标数据的文件路径及文件名，在“转换后”输入框中输入转换后的文件名。
（2）如仅有3个已知点，点击“计算转换四参数”，5个或以上己知点则选择转换前、后的坐标系统及转换点所在的中央子午线，点击“计算转换七参数”。
（3）点击“转换数据”，输入计算出的“四参数”或“七参数”完成公共点的坐标转换。
（4）选择图形转换，进行整个区域图形数据的转换。
5.3.3多尺度异构数据的集成
（1）将权属代码转为乡镇代码XZDM，TEXT，长度为9；
（2）在ArcCatalog 中创建“如皋.mdb”文件， 导入数据，右击如皋.mdb，选“import”名称中去掉自动加入部分，将地类图斑数据改为如“如皋.地类图斑1”， 保存为地图文档“如皋.mxd”。
（3）将地类图斑按字段“XZDM”和“GHDL”进行Disslove。 打散数据，记录合并前后图斑数量。
（4）导出SHP 文件，再导入MDB 中， 更名为“如皋地类.图班”，更新面积数据。
5.4数据的质量控制检查
（1）结合历史台帐，检查空间实体和历史台帐信息是否丢失；
（2）结合具体时间段历史影像，检查空间实体位置无偏移；
（3）确保同一类要素空间实体无重叠、几何精度符合要求
（4）确保数据无逻辑性错误。
5.5数据的装载入库和更新
数据装载主要是指将转换并清理后的数据按照各个专题的目标库进行配置，确保各年度的历史数据、台帐信息能够统一加载到指定的物理区域中，形成核心数据库。
国土业务每天都在进行，每年都会产生大量的数据，建立和完善数据汇交更新机制才能真正利用“一张图”实现“四全”服务模式，跟上“智慧城市”建设的步伐。日常工作中严格按照“谁生产谁负责人”的原则，以“时点变更为基础、实时变更为目标”，根据数据产生的特点进行批量更新、增量更新、同步更新。如对于基础地理数据采用不定期批量更新，对于土地利用规划、土地利用现状、基本农田保护数据等专业数据，采用增量定期更新，对于地籍、建设用地审批、执法监察等管理数据库，采取增量实时更新的方法。