论文部分内容阅读
[摘要]为了促进气象科学数据的共享，规范国家气象信息中心气象科学数据共享的发布，依据《中华人民共和国气象法》、《气象资料共享管理办法》初步建立,了由国家级和部分试点省组成的分布式气象科学数据共享网络平台,制定,了面向数据管理与共享的一些技术标准与规范并在气象资料公益性共享服务,中发挥了很好的作用。
[关键词]气象；科学数据；数据共享研究
中图分类号:P409 文献标识码:A 文章编号:1009-914X(2013)28-0308-01
引言：随着科技条件平台工作的整体推进,年,项目名称改为“气象科学数据共享试点建设”。该项目以数据整合和共享服务为中心,重点围绕数据标准规范建设、数据共享策略研究、数据集研制和共享平台开发等方面开展工作。三年来,在基本气象资料质量控制方法研究、科学实验资料的综合分析、标准数据集研制技术、网络共享平台设计与开发和数据管理标准研究等方面已经取得了一些可喜效果。
1 共享服务平台设计与构建
气象科学数据共享服务平台不仅是项目研究与建设的重要内容，也是集中体现项目研究成果，为用户提供便捷高效数据服务的主要窗口。因此，在项目总体设计中明确提出了要通过5年时间建成由国家级主平台和31个省级共享分平台为主，涵盖行业和相关领域的分布式共享服务网络体系这一奋斗目标。鉴于气象科学数据的繁杂性和多源性，为了保证共享服务平台能够成为提供权威、一致、快捷气象科学数据服务的共享主平台，必须在元数据、数据管理模型、用户管理策略和数据检索技术等方面开展大量的研究与技术适用性改造，使先进的IT技术能够在系统设计与实现中发挥最优的作用。
2 项目研究的主要内容
2.1 气象科学数据共享技术标准与规范研究研究建立以数据共享为目的的各类数据标准规范,包括元数据标准、数据分类分级与编码标准、数据发布策略、用户分类分级、共享效益评估方法等,从而构建气象科学数据共享系统 的技术保障体系,形成气象数据交换共享服务机制。
2.2 数据处理分析方法研究与数据资源建设开展数据质量控制方法、均一性检验方法、数据分析技术 的研究,通过对基础数据 和离散数据源的整合集成研制一批 以共享为 目的 的规范标准、质量可靠 的气象科学数据集产品。
2.3 进行气象资料数字化技术方法研究与实验,整理需求急迫 的部分非数字化气象资料,形成序列均一 的长时间资料序列。进行分布式数据库和共享服务平臺设计与开发采用大规模商用数据库技术、层次化存储管理技术和 技术,建设体系基本完整、项 目较为齐全、质量 比较可靠的共享气象资料数据库和可视化、分布式的气象资料共享网络服务平台,构建覆盖全 国、网通行业、联结世界的基于网络 的气象科学数据共享服务平台,为各方面用户提供全方位、多层次、网络化和可视化 的气象基础信息共享服务。
3 主要成果
3.1 实施气象科学数据共享首先需要解决的问题是如何在浩如烟海的原始气象资料中经过客观、科学的处理与分析,形成一批能够直接为科学研究与其他公益性活动利用的数据序列和数据集产品。因此,建设我国科学研究 和科技创新急需的气象数据产品是提高气象科学数据共享服务能力、开展共享工作的关键。自2001年气象科学数据共享试点工作开展以来,项目组在用户需求调研基础上,重点选择了一批用户急需并且具有较好基础 的数据种类进行整合,包括中国地面、高空和辐射气象观测资料、全球地面、高空数据产品、卫星资料反演产品序列、气象科学观测试验等数据和其他一些种类的气象数据。将以不同格式、存储在不同介质上的历史资料,进行整合、加工整理和统计,分门别类制作成长序列数据集,形成 了一批具有统一元数据标准、统一分类编码、统一命名规则的标准规范的数据集产品。目前,已建成包括地面、高空、太阳辐射、海洋船舶、卫星遥感和科学试验与考察等类气象资料的个数据集产品,数据总量超过740GB。这些数据已经全部提供共享,其中有260GB的数据已实现网上在线共享。
3.2 基本气象资料处理方法研究，基本气象资料包括全 国地面、高空、太 阳辐射站 网观测资料 和全球地面船舶、高空站网所定时发布的天气报告。对于常规观测资料,课题组在参考国内外质量控制有关方法的基础上,根据全球地面天气报历史资料的实际情况,提出了以极值检查和要素内部一致性检查为主,并辅以适当的时间一致性检查的综合质量控制方法。
4 卫星气象资料处理方法
气象卫星遥感资料具有覆盖范围广、信息量大、重复频率高、信息源可靠等诸多优势,不仅是地面观测资料的一个 良好的补充，也是气候系统观测 资料 的重要组成部分。通过对原始资料 的定标、定位和特征参数反演计算,卫星遥感信息可生成反映大气、陆地、海洋和气候特征的多种定量参数,是天气预报、气候研究、生态环境监测评估重要数据资源。近三年来,课题组开展了卫星 云 图特征提取技术、卫星辐射数据分析技术和卫星遥感雪盖分析技术等领域的研究。并调研分析了美国有关数据机构采用的部分卫星产品质量评价和质量控制方法。应用这些技术与方法，课题组研制了全国卫星遥感射出长波辐射、全国冬季卫星遥感积雪、日本GMS静止气象卫星云图、全国被指数等数据集产品并在数据共享服务中提供各方面用户使用。
5 大气成分观测与科学试验资料分析方法
大气成分观测与科学试验资料是气象科学数据的重要组成部分，在气候变化检测、生态环境评估和诸多热点科学问题研究中发挥着重要作用。但是，由于这部分资料的业务化程度较低，数据管理分散，数据处理、分析的标准各异，造成质量差异明显，共享利用困难。该课题试图通过对诸如酸雨、大气本底等大气成分观测资料和华南暴雨、青藏高原科考、飞机探测云物理等重点科学试验资料的处理技术与分析方法的研究，找出适用于本领域数据的技术与方法，运用于分散数据的整合与规范化处理，从而建立标准化的数据集产品提供共享服务。
6 标准化、规范化方面的进展
确保科学数据共享工作健康有序开展的前提条件是支持数据共享的一系列法规、政策和共享数据科学管理必须遵循的技术标准与规范。在《中华人民共和国气象法》、“世界气象组织(WMO)40号决议”和中国气象局(气象资料共享管理办法》等相关法规政策的框架内，为切实组织开展好我国第一个科学数据共享试点工作并为其他领域的数据共享提供技术与标准示范，项目组三年来对数据管理与发布逐环节的技术标准进行了大量的研究，形成了一批可指导并应用于实际科研业务工作的规范性技术文件。包括“气象科学数据集制作与归档技术规定”、“气象数据集说明文档格式标准”、“气象数据集元数据格式标准”、“气象数据共享分级方案”、“气象资料分类编码和命名规范”和’‘气象科学数据共享用户分级”等〕。初步形成了从数据处理、数据集制作、数据存储、数据理、数据发布到数据共享效益评估这一数据共享完整工作链的技术保障体系，为气象科学数据共享工作的顺利开展和气象共享系统的有序建设打下了良好的基础。
参考文献
[1] 黄鼎成,科学数据共享工程的总体框架.中国基础科学，2003,(1):63-68.
[2] 黄鼎成，郭增艳.科学数据共享管理研究.北京:中国科学技术出版社.2002.213.
[3] 李集明，王国复，邓莉，等.国外大气科学领域数据中心发展概况见:孙九林，施慧中主编.科学数据管理与共享北京:中国科学技术出版社，2002. 367.
[4] 张强，郭发辉.许松全球地面天气报资料质量控制和数据集特征分析.应用气象学报，2004,15〔增刊):121-127.
[关键词]气象；科学数据；数据共享研究
中图分类号:P409 文献标识码:A 文章编号:1009-914X(2013)28-0308-01
引言：随着科技条件平台工作的整体推进,年,项目名称改为“气象科学数据共享试点建设”。该项目以数据整合和共享服务为中心,重点围绕数据标准规范建设、数据共享策略研究、数据集研制和共享平台开发等方面开展工作。三年来,在基本气象资料质量控制方法研究、科学实验资料的综合分析、标准数据集研制技术、网络共享平台设计与开发和数据管理标准研究等方面已经取得了一些可喜效果。
1 共享服务平台设计与构建
气象科学数据共享服务平台不仅是项目研究与建设的重要内容，也是集中体现项目研究成果，为用户提供便捷高效数据服务的主要窗口。因此，在项目总体设计中明确提出了要通过5年时间建成由国家级主平台和31个省级共享分平台为主，涵盖行业和相关领域的分布式共享服务网络体系这一奋斗目标。鉴于气象科学数据的繁杂性和多源性，为了保证共享服务平台能够成为提供权威、一致、快捷气象科学数据服务的共享主平台，必须在元数据、数据管理模型、用户管理策略和数据检索技术等方面开展大量的研究与技术适用性改造，使先进的IT技术能够在系统设计与实现中发挥最优的作用。
2 项目研究的主要内容
2.1 气象科学数据共享技术标准与规范研究研究建立以数据共享为目的的各类数据标准规范,包括元数据标准、数据分类分级与编码标准、数据发布策略、用户分类分级、共享效益评估方法等,从而构建气象科学数据共享系统 的技术保障体系,形成气象数据交换共享服务机制。
2.2 数据处理分析方法研究与数据资源建设开展数据质量控制方法、均一性检验方法、数据分析技术 的研究,通过对基础数据 和离散数据源的整合集成研制一批 以共享为 目的 的规范标准、质量可靠 的气象科学数据集产品。
2.3 进行气象资料数字化技术方法研究与实验,整理需求急迫 的部分非数字化气象资料,形成序列均一 的长时间资料序列。进行分布式数据库和共享服务平臺设计与开发采用大规模商用数据库技术、层次化存储管理技术和 技术,建设体系基本完整、项 目较为齐全、质量 比较可靠的共享气象资料数据库和可视化、分布式的气象资料共享网络服务平台,构建覆盖全 国、网通行业、联结世界的基于网络 的气象科学数据共享服务平台,为各方面用户提供全方位、多层次、网络化和可视化 的气象基础信息共享服务。
3 主要成果
3.1 实施气象科学数据共享首先需要解决的问题是如何在浩如烟海的原始气象资料中经过客观、科学的处理与分析,形成一批能够直接为科学研究与其他公益性活动利用的数据序列和数据集产品。因此,建设我国科学研究 和科技创新急需的气象数据产品是提高气象科学数据共享服务能力、开展共享工作的关键。自2001年气象科学数据共享试点工作开展以来,项目组在用户需求调研基础上,重点选择了一批用户急需并且具有较好基础 的数据种类进行整合,包括中国地面、高空和辐射气象观测资料、全球地面、高空数据产品、卫星资料反演产品序列、气象科学观测试验等数据和其他一些种类的气象数据。将以不同格式、存储在不同介质上的历史资料,进行整合、加工整理和统计,分门别类制作成长序列数据集,形成 了一批具有统一元数据标准、统一分类编码、统一命名规则的标准规范的数据集产品。目前,已建成包括地面、高空、太阳辐射、海洋船舶、卫星遥感和科学试验与考察等类气象资料的个数据集产品,数据总量超过740GB。这些数据已经全部提供共享,其中有260GB的数据已实现网上在线共享。
3.2 基本气象资料处理方法研究，基本气象资料包括全 国地面、高空、太 阳辐射站 网观测资料 和全球地面船舶、高空站网所定时发布的天气报告。对于常规观测资料,课题组在参考国内外质量控制有关方法的基础上,根据全球地面天气报历史资料的实际情况,提出了以极值检查和要素内部一致性检查为主,并辅以适当的时间一致性检查的综合质量控制方法。
4 卫星气象资料处理方法
气象卫星遥感资料具有覆盖范围广、信息量大、重复频率高、信息源可靠等诸多优势,不仅是地面观测资料的一个 良好的补充，也是气候系统观测 资料 的重要组成部分。通过对原始资料 的定标、定位和特征参数反演计算,卫星遥感信息可生成反映大气、陆地、海洋和气候特征的多种定量参数,是天气预报、气候研究、生态环境监测评估重要数据资源。近三年来,课题组开展了卫星 云 图特征提取技术、卫星辐射数据分析技术和卫星遥感雪盖分析技术等领域的研究。并调研分析了美国有关数据机构采用的部分卫星产品质量评价和质量控制方法。应用这些技术与方法，课题组研制了全国卫星遥感射出长波辐射、全国冬季卫星遥感积雪、日本GMS静止气象卫星云图、全国被指数等数据集产品并在数据共享服务中提供各方面用户使用。
5 大气成分观测与科学试验资料分析方法
大气成分观测与科学试验资料是气象科学数据的重要组成部分，在气候变化检测、生态环境评估和诸多热点科学问题研究中发挥着重要作用。但是，由于这部分资料的业务化程度较低，数据管理分散，数据处理、分析的标准各异，造成质量差异明显，共享利用困难。该课题试图通过对诸如酸雨、大气本底等大气成分观测资料和华南暴雨、青藏高原科考、飞机探测云物理等重点科学试验资料的处理技术与分析方法的研究，找出适用于本领域数据的技术与方法，运用于分散数据的整合与规范化处理，从而建立标准化的数据集产品提供共享服务。
6 标准化、规范化方面的进展
确保科学数据共享工作健康有序开展的前提条件是支持数据共享的一系列法规、政策和共享数据科学管理必须遵循的技术标准与规范。在《中华人民共和国气象法》、“世界气象组织(WMO)40号决议”和中国气象局(气象资料共享管理办法》等相关法规政策的框架内，为切实组织开展好我国第一个科学数据共享试点工作并为其他领域的数据共享提供技术与标准示范，项目组三年来对数据管理与发布逐环节的技术标准进行了大量的研究，形成了一批可指导并应用于实际科研业务工作的规范性技术文件。包括“气象科学数据集制作与归档技术规定”、“气象数据集说明文档格式标准”、“气象数据集元数据格式标准”、“气象数据共享分级方案”、“气象资料分类编码和命名规范”和’‘气象科学数据共享用户分级”等〕。初步形成了从数据处理、数据集制作、数据存储、数据理、数据发布到数据共享效益评估这一数据共享完整工作链的技术保障体系，为气象科学数据共享工作的顺利开展和气象共享系统的有序建设打下了良好的基础。
参考文献
[1] 黄鼎成,科学数据共享工程的总体框架.中国基础科学，2003,(1):63-68.
[2] 黄鼎成，郭增艳.科学数据共享管理研究.北京:中国科学技术出版社.2002.213.
[3] 李集明，王国复，邓莉，等.国外大气科学领域数据中心发展概况见:孙九林，施慧中主编.科学数据管理与共享北京:中国科学技术出版社，2002. 367.
[4] 张强，郭发辉.许松全球地面天气报资料质量控制和数据集特征分析.应用气象学报，2004,15〔增刊):121-127.