论文部分内容阅读
摘要：气象数字化档案是重要的气象资料，随着数据量的不断增加，传统的存储方式面临严峻挑战。该文分析了辽宁省气象档案数字化图片档案的现状，提出了一套基于云存储的气象数字化图像档案解决方案，对改善现有档案存储方式具有重要参考意义。
关键词：云存储；气象档案；数字化
中图分类号： TP302.1 文献标识码：A 文章编号：1009-3044（2016）27-0007-03
Abstract： Meteorological digital archives are the important meteorological data， along with increasing the amount of data， traditional way of storing faces severe challenges. This paper analyzes the present situation of liaoning province meteorological archives digital picture file， put forward a set of meteorological archives digital images based on cloud storage solutions， to improve the existing file storage way has important reference significance.
Key words： cloud storage；meteorological archives； digitization
1 引言
近年来，自动气象站、L波段探空系统和新一代风云气象卫星等气象观测系统快速发展，气象信息系统的通信和存储能力大幅度提升，海量的数字气象资料在国家和省级气象档案馆汇集[1]。在国家气象局的部署下，气象档案数字化建设不断推进，产生了大量宝贵的气象图像档案资源。这些数字化资源种类多、数据量大、访问频繁，且日渐几何状增长[2]。面对这种增长需求，传统存储方式通过扩展物理存储来解决，但这种方式成本高切不利于管理。因此迫切需要一种新的存储方案，在原有资源基础之上来解决海量数字化数据的存储问题，以满足气象档案馆持续发展的存储需求。
随着科技发展，云存储逐渐成为各界关注的焦点。在档案领域中，特别是档案信息资源的海量储存和整合方面，具有非常好的应用价值和研究前景。本文在分析气象档案馆资源整合与共享需求的基础上，结合最近发展的云存储技术，尝试提出一种基于云环境的新的存储方案。这种把云存储技术运用于气象档案资源信息共享领域的新型档案资源整合模式，无疑具有重大的推广价值和现实意义。
2 气象档案业务现状
2.1气象档案业务
近年来，在中国气象局的统一规划下， 我省开始用数字化扫描仪对气象原始记录资料进行信息化处理，目前全省62个站从建站至今的地面观测原始记录、标准数字化记录和统计整编记录已以数据集的方式存入非实时数据库中， 实时的地面气象记录月（年） 报表和高空气象记录月报表实现台站直接信息化、省级集中机审和存储一条龙处理， 不断地增加新的气象信息源，为建设气象数字档案馆奠定了基本的信息基础。同时，逐步开展对历史气象资料拯救与数字化工作，迄今已完成了历史地面气象观测记录报表数字化，目前正在进行高空观测资料的数字化，已形成各类历史地面气象观测记录报表电子图像文件数据集成果，数据量近5.0TB。
2.2 档案存储面临的问题
面对海量数字化资源，传统数字资源存储问题也随之暴露出来，其中比较突出的问题有以下几方面：
（1）可扩展性差。档案馆数字资源快速增长，存储设备的存储容量受限，导致资源无法长期保存，现有的档案馆数字化建设根本无法滿足需求，如果存储容量一开始设计过大，又耗费资源。
（2）资源冗余、信息孤岛。各档案之间独立保存，资源冗余，档案信息得不到共享。
（3）成本高。软件维护和硬件维修，以及够买新的设备，都需要较大成本
（4）安全性差。档案馆目前的系统安全体系薄弱，容易遭受，同时某一设备故障也会影响整个档案的存储系统。
（5）备份性差。数据备份需要花费大量人力和时间，同时异地备份和迁移需要更多精力。
3 构建云存储
3.1存储结构设计
气象档案具有保密性，因此在设计时充分考虑安全因素，将内部云存储组件部署在省级网络防火墙后，保障数据安全。初期可以利用现有资源降低成本，如已有服务器、硬盘等，待框架搭建好后根据需求进行增加，内部存储结构层次如图2所示。
（1）访问层。主要面向全省各级档案使用人员，用户得到省级的统一授权后，利用标准API接口来访问内部数据。目前主要数据是数字化的图像，以后可根据需求扩展更多类型数据。
（2）应用平台接口层。在本层中部署不同的功能模块满足使用需求，包括数据库接入、数据资源整合交换、虚拟查询等。
（3）基础管理层。基于集群技术、分布式文件系统和计算机网络技术，实现云存储中多个存储设备的协同工作，对外提供统一的服务，是整个云存储的核心。
（4）物理存储层。部署在物理存储和服务器之间的一个虚拟层，可以结合现有的虚拟化设备和服务来进行管理。这种方式的优点在于，摆脱物理存储容量限制，存储硬件的改变对服务器层完全透明，存储设备可以包括光纤通道、SCSI、NAS等。
3.2存储访问方法
内部存储的构建包括控制节点和数据节点，控制节点控制数据节点的存储分配，数据节点根据需求进行配置，通过连接的方式进行访问，不同的存储设备通过软件进行协同，对外部提供数据存储管理和业务访问服务。具体的访问方式包括：webApis具象状态传输、基于ISCSI块协议传输、基于Web协议传输等。可以与现有的虚拟化资源协作，实现软硬件统一部署。 3.3存储可靠性
云存储的可靠性关系到整个所有环节的效率，内部云存储通常利用数据复制、节点备份、等机制来保障可靠性。这里采用信息分布算法（IDA）把文件分成数据分片，这种处理有利于数据重建。具有数据分片能力可以将切片分配到不同位置存储，提高存储系统的可靠性，降低系统运行负荷，减少信息交互。
3.4 存储扩展性
采用FileStorage方式进行存储，这种基于文件级别的存储优点在于同一文件可供多用户使用，扩展性强，成本低。在云存储需要扩容时，只需要安装云端管理软件，并网络交换机相连。当用户端存储负荷增加时，云存储端可以将数据分配到不同节点，提供额外的访问途径，提高读取能力。存储的扩容过程通过在线操作，不影响存储，非常便捷。
4 结论
（1）作为新的技术，云存储概念从提出便成为数据存储领域研究的热点，改变了传统存储模式，而云存储模式由于其高安全性、可控性等特性为气象档案馆建立云存储提供了可行性方案。构建基于云环境的档案存储，为气象数字化档案的整合与共享提供了新的解决方案。随着云计算技术的快速发展，将给气象档案馆数字化建设带来巨大的转变。将云存储技术运用于氣象档案资源信息共享领域的新型档案资源整合模式，无疑具有重大的推广价值和现实意义。
（2）云存储作为一种新的存储模式，具有低成本、高可靠性等特性，能够很好地解决档案馆海量数字资源的存储和管理，但同时云存储还存在一些不完善和需要改进的地方，我们可以利用它来提升档案馆数字资源信息服务，但不能完全依赖它，还要结合自身档案体系的特点，实现气象图像档案资源整合与共享的可持续发展。
参考文献：
[1] 李星玉，张静.气象档案工作现代化的几点思考[J].2011（10）：35-36.
[2] 中国气象局.气象事业发展“十一五”规划（2006-2010年）[R].北京：中国气象局，2006.
[3] 郭萍.气象数字档案馆的设计思路[J].新技术应用与现代化管理，2005（2）：11-13.
[4] 乔杨.基于内部云存储的图书馆数据资源存储研究[J].晋图学刊，2012（1）：11-13.
[5] 高建秀，吴振新，孙硕.云存储在数字资源长期保存中的应用探讨[J].现代图书情报技术，2010（6）：1-2.
[6] 陶蕾.“云”下的图书馆网络存储探讨[J].图书馆学研究，2010（7）：66-67.
关键词：云存储；气象档案；数字化
中图分类号： TP302.1 文献标识码：A 文章编号：1009-3044（2016）27-0007-03
Abstract： Meteorological digital archives are the important meteorological data， along with increasing the amount of data， traditional way of storing faces severe challenges. This paper analyzes the present situation of liaoning province meteorological archives digital picture file， put forward a set of meteorological archives digital images based on cloud storage solutions， to improve the existing file storage way has important reference significance.
Key words： cloud storage；meteorological archives； digitization
1 引言
近年来，自动气象站、L波段探空系统和新一代风云气象卫星等气象观测系统快速发展，气象信息系统的通信和存储能力大幅度提升，海量的数字气象资料在国家和省级气象档案馆汇集[1]。在国家气象局的部署下，气象档案数字化建设不断推进，产生了大量宝贵的气象图像档案资源。这些数字化资源种类多、数据量大、访问频繁，且日渐几何状增长[2]。面对这种增长需求，传统存储方式通过扩展物理存储来解决，但这种方式成本高切不利于管理。因此迫切需要一种新的存储方案，在原有资源基础之上来解决海量数字化数据的存储问题，以满足气象档案馆持续发展的存储需求。
随着科技发展，云存储逐渐成为各界关注的焦点。在档案领域中，特别是档案信息资源的海量储存和整合方面，具有非常好的应用价值和研究前景。本文在分析气象档案馆资源整合与共享需求的基础上，结合最近发展的云存储技术，尝试提出一种基于云环境的新的存储方案。这种把云存储技术运用于气象档案资源信息共享领域的新型档案资源整合模式，无疑具有重大的推广价值和现实意义。
2 气象档案业务现状
2.1气象档案业务
近年来，在中国气象局的统一规划下， 我省开始用数字化扫描仪对气象原始记录资料进行信息化处理，目前全省62个站从建站至今的地面观测原始记录、标准数字化记录和统计整编记录已以数据集的方式存入非实时数据库中， 实时的地面气象记录月（年） 报表和高空气象记录月报表实现台站直接信息化、省级集中机审和存储一条龙处理， 不断地增加新的气象信息源，为建设气象数字档案馆奠定了基本的信息基础。同时，逐步开展对历史气象资料拯救与数字化工作，迄今已完成了历史地面气象观测记录报表数字化，目前正在进行高空观测资料的数字化，已形成各类历史地面气象观测记录报表电子图像文件数据集成果，数据量近5.0TB。
2.2 档案存储面临的问题
面对海量数字化资源，传统数字资源存储问题也随之暴露出来，其中比较突出的问题有以下几方面：
（1）可扩展性差。档案馆数字资源快速增长，存储设备的存储容量受限，导致资源无法长期保存，现有的档案馆数字化建设根本无法滿足需求，如果存储容量一开始设计过大，又耗费资源。
（2）资源冗余、信息孤岛。各档案之间独立保存，资源冗余，档案信息得不到共享。
（3）成本高。软件维护和硬件维修，以及够买新的设备，都需要较大成本
（4）安全性差。档案馆目前的系统安全体系薄弱，容易遭受，同时某一设备故障也会影响整个档案的存储系统。
（5）备份性差。数据备份需要花费大量人力和时间，同时异地备份和迁移需要更多精力。
3 构建云存储
3.1存储结构设计
气象档案具有保密性，因此在设计时充分考虑安全因素，将内部云存储组件部署在省级网络防火墙后，保障数据安全。初期可以利用现有资源降低成本，如已有服务器、硬盘等，待框架搭建好后根据需求进行增加，内部存储结构层次如图2所示。
（1）访问层。主要面向全省各级档案使用人员，用户得到省级的统一授权后，利用标准API接口来访问内部数据。目前主要数据是数字化的图像，以后可根据需求扩展更多类型数据。
（2）应用平台接口层。在本层中部署不同的功能模块满足使用需求，包括数据库接入、数据资源整合交换、虚拟查询等。
（3）基础管理层。基于集群技术、分布式文件系统和计算机网络技术，实现云存储中多个存储设备的协同工作，对外提供统一的服务，是整个云存储的核心。
（4）物理存储层。部署在物理存储和服务器之间的一个虚拟层，可以结合现有的虚拟化设备和服务来进行管理。这种方式的优点在于，摆脱物理存储容量限制，存储硬件的改变对服务器层完全透明，存储设备可以包括光纤通道、SCSI、NAS等。
3.2存储访问方法
内部存储的构建包括控制节点和数据节点，控制节点控制数据节点的存储分配，数据节点根据需求进行配置，通过连接的方式进行访问，不同的存储设备通过软件进行协同，对外部提供数据存储管理和业务访问服务。具体的访问方式包括：webApis具象状态传输、基于ISCSI块协议传输、基于Web协议传输等。可以与现有的虚拟化资源协作，实现软硬件统一部署。 3.3存储可靠性
云存储的可靠性关系到整个所有环节的效率，内部云存储通常利用数据复制、节点备份、等机制来保障可靠性。这里采用信息分布算法（IDA）把文件分成数据分片，这种处理有利于数据重建。具有数据分片能力可以将切片分配到不同位置存储，提高存储系统的可靠性，降低系统运行负荷，减少信息交互。
3.4 存储扩展性
采用FileStorage方式进行存储，这种基于文件级别的存储优点在于同一文件可供多用户使用，扩展性强，成本低。在云存储需要扩容时，只需要安装云端管理软件，并网络交换机相连。当用户端存储负荷增加时，云存储端可以将数据分配到不同节点，提供额外的访问途径，提高读取能力。存储的扩容过程通过在线操作，不影响存储，非常便捷。
4 结论
（1）作为新的技术，云存储概念从提出便成为数据存储领域研究的热点，改变了传统存储模式，而云存储模式由于其高安全性、可控性等特性为气象档案馆建立云存储提供了可行性方案。构建基于云环境的档案存储，为气象数字化档案的整合与共享提供了新的解决方案。随着云计算技术的快速发展，将给气象档案馆数字化建设带来巨大的转变。将云存储技术运用于氣象档案资源信息共享领域的新型档案资源整合模式，无疑具有重大的推广价值和现实意义。
（2）云存储作为一种新的存储模式，具有低成本、高可靠性等特性，能够很好地解决档案馆海量数字资源的存储和管理，但同时云存储还存在一些不完善和需要改进的地方，我们可以利用它来提升档案馆数字资源信息服务，但不能完全依赖它，还要结合自身档案体系的特点，实现气象图像档案资源整合与共享的可持续发展。
参考文献：
[1] 李星玉，张静.气象档案工作现代化的几点思考[J].2011（10）：35-36.
[2] 中国气象局.气象事业发展“十一五”规划（2006-2010年）[R].北京：中国气象局，2006.
[3] 郭萍.气象数字档案馆的设计思路[J].新技术应用与现代化管理，2005（2）：11-13.
[4] 乔杨.基于内部云存储的图书馆数据资源存储研究[J].晋图学刊，2012（1）：11-13.
[5] 高建秀，吴振新，孙硕.云存储在数字资源长期保存中的应用探讨[J].现代图书情报技术，2010（6）：1-2.
[6] 陶蕾.“云”下的图书馆网络存储探讨[J].图书馆学研究，2010（7）：66-67.