论文部分内容阅读
摘 要: 科技的发展日新月异,一项重要技术的突破往往会推动多个行业的变革,在快速变化的时代,数据存储也必须跟随时代技术的发展。
关键词: 数据存储;技术发展
【中图分类号】 TP311.1 【文献标识码】 A【文章编号】 2236-1879(2018)15-0012-01
1.存储介质
数据存储首先要解决存储介质的问题。存储介质是数据存储的载体,是数据存储的基础。存储介质并不是越贵越好、越先进越好,要根据不同的应用环境合理选择存储介质。存储介质的类型主要有磁带、光盘和磁盘三种。
1.1磁带。
磁带式存储是成本最低、容量最大的存储介质。磁带最大的缺点是速度比较慢,在对时间要求不高,通过磁盘到磁带存储的方式十分稳定,可以充分发挥磁带的优势;还有就是不需要快速的数据恢复;三是需要大量的离线数据复制,四是需要长期储存,可以说磁带是最理想的存储介质。
1.2 光盘。
光盘又叫高密度盘,特点比较明显,有三个,即只读性,不受电磁影响、方便大量复制,这些特点使光盘特别适用于对数据进行永久性归档备份。
1.3 磁盘。
利用磁盘存储数据,一般采用独立冗余磁盘阵列即RAID,RAID主要有三个特点一是可以同时读取和写入,提高了磁盘的带宽;二是所有磁盘可以并行执行寻道工作,减少了寻道时间;三是具有很强的容错机制,可以保证在不丢失数据的前提下允许个别磁盘失效。
2.传统存储技术
目前磁盘存储市场,根据服务器类型存储可分为:封闭系统的存储和开放系统的存储。
2.1 直接连接存储。
直接连接存储,也称为服务器附加存储,是指外置存储设备通过连接电缆,直接连到一台主机上。主机与存储设备连接有多种方式,如ATA、SATA、SCSI等,实际应用中大多采用SCSI方式。这种方式的优点是,中间环节少,磁盘读写带宽的利用率高,购置成本也比较经济。缺点是扩展能力有限,数据存储占用主机资源,使得主机的性能受到相当大的影响,主机的性能也对数据的访问有一定影响。
2.2 网络附加存储。
这是一种在以太网上实现数据存储的技术,是一个嵌有通信网络及文件管理协议的专用存储服务器。这种存储方式可以理解为一个带有简化服务的存储设备,其作用类似于一个专用的文件服务器,不过把计算机显示设备,输入输出设备省去了,网络附加存储用于存储服务可以大大降低设备成本,但由于采用了网络文件系统协议及网络文件共享协议,占用了一定量的带宽,影响数据的访问速度。
2.3 存储域网络。
主要是通过高速网络和信道I/O接口方案将主机和存储系统联系起来,本质是一种高性能网络。具有以下特点,转为传输而设计的光纤信道协议,使其的传输速率和效率都很高特别适合打数据量高带宽的传输要求,由于采用网络结构,具有无限扩展能力。缺点是成本高,管理难度大。
3 云存储技术
3.1 概览。
云存储是在云计算概念所延伸和发展出的。云存储是指通过集群应用、网络技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。
3.2 存储虚拟化技术。
3.2.1 虚拟化概念。
虚拟化技术的对象是各类资源,功能是对用户屏蔽虚拟对象不必要的细节并建立其逻辑表示,目的使用户在虚拟环境中透明使用虚拟对象在真实环境中的主要功能。虚拟化实际上是提供了一种通用的、可实现的解决问题的方法或思路:即降低资源使用者和资源实现之间耦合度让使用者不在依赖某种特定现实。
3.2.2 存储虚拟化。
虚拟存储就是把多个存储介质通过一定的手段集中管理起来,所有存储模块在一个存储池中得到统一管理。这种可以将多种、多个存储设备同意管理起来,为使用者提供大容量、高速传输性能的存储系统,就称为虚拟存储。主要特点有以下几点:
1)屏蔽不同种类架构,不同厂牌、不同等级的易构存储设备的整合,是存储虚拟化产品的首要特性。
2)支持多种存储协议,要整合用户的存储环境,除了考虑不同厂牌的设备整合,还要考虑不同存储协议的支持问题
3)弹性的资源调配基指。
虚拟化产品必须具备弹性的容量与性能调整机制,以便适当的分配容量,为前端特定读物保证足够的性能。
4)高可用机制。
虚拟层为整个存储系统的瓶颈,一旦虚拟层失效,整个存储服务也就终断。为避免这种情况发生,几乎所有虚拟化产品都有高可用性机制。
5)架构在虚拟层上的进阶应用。
存储虚拟化本身不是目的,而是提供一种易于管理、富有弹性的整合存储环境,以便架构处各种存储应用。
4 新型数据库技术
4.1大规模并行数据库系统。
为了能高性能处理TB以上级的大数据,20世纪末期开始出现汲取對称多处理器系统、共享内存和磁盘以及并行查询处理技术的数据库。
4.2 流处理技术。
流处理技术用于处理数据库中的动态数据和变化的规模,其典型代表是Stream SQL标准。
4.3 列存储数据库技术。
列存储技术是将同一个属性很多列作为一个列存储,而不是传统的面向记录行的存储。
4.4 键-值存储的数据库。
这种存储技术的主要特点是:不需要固定的表模式;具有可伸缩性灵活性;有利于处理稀疏数据
4.5 NosQL技术。
这是近年来才被人们所接受的一种概念最常见的解释有两种一是“Non-Relational”,二是“Not Only Sql”。
5 结束语
数据存储方面存在许多影响社会发展进步的技术趋势,如人工智能、机器学习、物联网、软件定义存储、对象存储、超融合等。这些技术趋势促进了社会的发展。但没有什么事情会在一夜之间发生。如果能跟上了数据存储的发展趋势,并理解了业务的技术需求,那么就可以在业务方面做好准备时采用新技术。
关键词: 数据存储;技术发展
【中图分类号】 TP311.1 【文献标识码】 A【文章编号】 2236-1879(2018)15-0012-01
1.存储介质
数据存储首先要解决存储介质的问题。存储介质是数据存储的载体,是数据存储的基础。存储介质并不是越贵越好、越先进越好,要根据不同的应用环境合理选择存储介质。存储介质的类型主要有磁带、光盘和磁盘三种。
1.1磁带。
磁带式存储是成本最低、容量最大的存储介质。磁带最大的缺点是速度比较慢,在对时间要求不高,通过磁盘到磁带存储的方式十分稳定,可以充分发挥磁带的优势;还有就是不需要快速的数据恢复;三是需要大量的离线数据复制,四是需要长期储存,可以说磁带是最理想的存储介质。
1.2 光盘。
光盘又叫高密度盘,特点比较明显,有三个,即只读性,不受电磁影响、方便大量复制,这些特点使光盘特别适用于对数据进行永久性归档备份。
1.3 磁盘。
利用磁盘存储数据,一般采用独立冗余磁盘阵列即RAID,RAID主要有三个特点一是可以同时读取和写入,提高了磁盘的带宽;二是所有磁盘可以并行执行寻道工作,减少了寻道时间;三是具有很强的容错机制,可以保证在不丢失数据的前提下允许个别磁盘失效。
2.传统存储技术
目前磁盘存储市场,根据服务器类型存储可分为:封闭系统的存储和开放系统的存储。
2.1 直接连接存储。
直接连接存储,也称为服务器附加存储,是指外置存储设备通过连接电缆,直接连到一台主机上。主机与存储设备连接有多种方式,如ATA、SATA、SCSI等,实际应用中大多采用SCSI方式。这种方式的优点是,中间环节少,磁盘读写带宽的利用率高,购置成本也比较经济。缺点是扩展能力有限,数据存储占用主机资源,使得主机的性能受到相当大的影响,主机的性能也对数据的访问有一定影响。
2.2 网络附加存储。
这是一种在以太网上实现数据存储的技术,是一个嵌有通信网络及文件管理协议的专用存储服务器。这种存储方式可以理解为一个带有简化服务的存储设备,其作用类似于一个专用的文件服务器,不过把计算机显示设备,输入输出设备省去了,网络附加存储用于存储服务可以大大降低设备成本,但由于采用了网络文件系统协议及网络文件共享协议,占用了一定量的带宽,影响数据的访问速度。
2.3 存储域网络。
主要是通过高速网络和信道I/O接口方案将主机和存储系统联系起来,本质是一种高性能网络。具有以下特点,转为传输而设计的光纤信道协议,使其的传输速率和效率都很高特别适合打数据量高带宽的传输要求,由于采用网络结构,具有无限扩展能力。缺点是成本高,管理难度大。
3 云存储技术
3.1 概览。
云存储是在云计算概念所延伸和发展出的。云存储是指通过集群应用、网络技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。
3.2 存储虚拟化技术。
3.2.1 虚拟化概念。
虚拟化技术的对象是各类资源,功能是对用户屏蔽虚拟对象不必要的细节并建立其逻辑表示,目的使用户在虚拟环境中透明使用虚拟对象在真实环境中的主要功能。虚拟化实际上是提供了一种通用的、可实现的解决问题的方法或思路:即降低资源使用者和资源实现之间耦合度让使用者不在依赖某种特定现实。
3.2.2 存储虚拟化。
虚拟存储就是把多个存储介质通过一定的手段集中管理起来,所有存储模块在一个存储池中得到统一管理。这种可以将多种、多个存储设备同意管理起来,为使用者提供大容量、高速传输性能的存储系统,就称为虚拟存储。主要特点有以下几点:
1)屏蔽不同种类架构,不同厂牌、不同等级的易构存储设备的整合,是存储虚拟化产品的首要特性。
2)支持多种存储协议,要整合用户的存储环境,除了考虑不同厂牌的设备整合,还要考虑不同存储协议的支持问题
3)弹性的资源调配基指。
虚拟化产品必须具备弹性的容量与性能调整机制,以便适当的分配容量,为前端特定读物保证足够的性能。
4)高可用机制。
虚拟层为整个存储系统的瓶颈,一旦虚拟层失效,整个存储服务也就终断。为避免这种情况发生,几乎所有虚拟化产品都有高可用性机制。
5)架构在虚拟层上的进阶应用。
存储虚拟化本身不是目的,而是提供一种易于管理、富有弹性的整合存储环境,以便架构处各种存储应用。
4 新型数据库技术
4.1大规模并行数据库系统。
为了能高性能处理TB以上级的大数据,20世纪末期开始出现汲取對称多处理器系统、共享内存和磁盘以及并行查询处理技术的数据库。
4.2 流处理技术。
流处理技术用于处理数据库中的动态数据和变化的规模,其典型代表是Stream SQL标准。
4.3 列存储数据库技术。
列存储技术是将同一个属性很多列作为一个列存储,而不是传统的面向记录行的存储。
4.4 键-值存储的数据库。
这种存储技术的主要特点是:不需要固定的表模式;具有可伸缩性灵活性;有利于处理稀疏数据
4.5 NosQL技术。
这是近年来才被人们所接受的一种概念最常见的解释有两种一是“Non-Relational”,二是“Not Only Sql”。
5 结束语
数据存储方面存在许多影响社会发展进步的技术趋势,如人工智能、机器学习、物联网、软件定义存储、对象存储、超融合等。这些技术趋势促进了社会的发展。但没有什么事情会在一夜之间发生。如果能跟上了数据存储的发展趋势,并理解了业务的技术需求,那么就可以在业务方面做好准备时采用新技术。