论文部分内容阅读
主机经过近40年的创新发展,将怎样应对已经到来的大数据时代?在近日举行的2013 IBM System z高峰论坛上,IBM系统与科技部主机产品部大中华区总经理施东峰提出了“OLTAP”的概念以及主机应对优势,他表示:“在大数据时代,主机同样是核心应用平台,它可以在单一平台上实现交易处理(OLTP)和决策分析支持(OLAP)的无缝整合(OLTAP)。”
大数据应用分解
据相关机构预测,大数据同期增速为整体IT市场的四倍,服务器市场的五倍,高于同期的云计算市场。IBM预计,2012~2017年主机平台大数据年复合增长率将高达60%以上。那么,在Hadoop、分布式计算闪耀大数据市场的今天,主机的优势到底在哪里?
在IBM看来,大数据的应用不仅仅是目前所知的适合分布式计算的信息获取,信息的收集和管理仅仅是大数据的初级应用阶段。大数据应当分为信息获取型、交易型和分析型三类,而大数据应用的关键在于交易和分析:大数据不仅是信息检索查询等信息收集型应用(仅占16.6%),交易型和分析型应用(OLTAP)(占投入的83.4%)才是用户实施大数据的最终目标。未来,交易和分析型应用的比重将持续上升,而这正是IBM主机的价值和优势所在。
这三种不同类型的大数据应用分别适宜怎样的计算平台架构呢?信息获取型适宜分解的大数据应用,它的需求特色是简单的数据处理,目标以查询为主,具备有规律的访问模式,I/O读取能力相对重要,采用标准的集群模式;而交易型和分析型(OLTAP)不适宜分解的大数据应用,它的需求特色是复杂的数据处理(如图像处理),目标是交易和分析,不规律的数据访问,内存和计算能力相对重要,强调单节点处理能力。因此,OLTAP类应用所需的平台与信息获取型不同。
应对大数据3V
对于大数据的“3V”特征——Volume(数据量规模庞大)、Variety(数据产生及存储的多样性)、Velocity(即时数据处理及分析的要求),IBM主机都可以应对挑战:System z能够凭借海量处理能力和强大的扩展力,有效应对海量数据带来的挑战;超强的虚拟化能力和混合架构体系帮助实现数据整合,有效降低数据多样性带来的数据分析复杂度;主机最新的DB2数据分析加速器(IDAA)及SPSS预测分析等技术帮助完成OLTAP类应用,并能满足实时业务分析的新需求。
大数据中的交易型数据,需要即时、安全、可扩展性和高可用的平台;而分析型数据则需要海量处理和实时分析数据的能力。从数据交易(OLTP)应用来看,在单机环境下,主机具有最快的CPU主频5.5GHz,单机可配置CPU 101颗,主机独有的4级缓存架构还可充分发挥高主频CPU性能,单机处理能力高达78000MIPS(每秒处理百万级的机器语言指令数)。而在多机Parallel Sysplex系统综合体环境下,主机具备高达32个节点的物理扩展能力,独有的耦合器设计保障最佳线路扩展。诞生于1988年的硬件逻辑分区技术,支持Z/OS、ZVM、ZLinux等多种多任务操作系统,支持数百上千的Linux镜像,混合负载下典型利用率在85%以上,这些超强的虚拟化能力帮助主机实现高效负载和数据整合,而zEnterprise混合体系架构通过支持不同处理器和包括ZOS、AIX、Linux、Windows多种主流的操作系统,可实现异构环境的整合。
尤其值得一提的是主机在数据分析应用领域(OLAP)的技术创新。从传统的商业智能向交易实时分析推进,用户所面临的技术挑战是数据拷贝和移动的需求,以及多平台架构共存导致的维护和管理的复杂性。主机的性能可以最大程度地减少数据拷贝和移动,统一平台管理,降低复杂度。DB2数据分析加速器(IDAA)可以帮助主机实现OLTP和OLAP的高效无缝整合。IDAA基于成熟的PureData(Netezza)技术,可以大幅降低复杂查询的响应时间,提高分析应用的实时性,大幅降低数据移动的需求,降低分析应用的设计和开发复杂度。IDAA和DB2紧密集成,应用更为透明,DB2可自动调度。
此外,SPSS技术可以帮助主机在实现在线交易实时分析上更具优势,SPSS自定义函数可实现按需调用。有了高端的主机硬件架构和最新的软件技术,在大数据时代,主机依然通过创新保持核心平台的地位。
大数据应用分解
据相关机构预测,大数据同期增速为整体IT市场的四倍,服务器市场的五倍,高于同期的云计算市场。IBM预计,2012~2017年主机平台大数据年复合增长率将高达60%以上。那么,在Hadoop、分布式计算闪耀大数据市场的今天,主机的优势到底在哪里?
在IBM看来,大数据的应用不仅仅是目前所知的适合分布式计算的信息获取,信息的收集和管理仅仅是大数据的初级应用阶段。大数据应当分为信息获取型、交易型和分析型三类,而大数据应用的关键在于交易和分析:大数据不仅是信息检索查询等信息收集型应用(仅占16.6%),交易型和分析型应用(OLTAP)(占投入的83.4%)才是用户实施大数据的最终目标。未来,交易和分析型应用的比重将持续上升,而这正是IBM主机的价值和优势所在。
这三种不同类型的大数据应用分别适宜怎样的计算平台架构呢?信息获取型适宜分解的大数据应用,它的需求特色是简单的数据处理,目标以查询为主,具备有规律的访问模式,I/O读取能力相对重要,采用标准的集群模式;而交易型和分析型(OLTAP)不适宜分解的大数据应用,它的需求特色是复杂的数据处理(如图像处理),目标是交易和分析,不规律的数据访问,内存和计算能力相对重要,强调单节点处理能力。因此,OLTAP类应用所需的平台与信息获取型不同。
应对大数据3V
对于大数据的“3V”特征——Volume(数据量规模庞大)、Variety(数据产生及存储的多样性)、Velocity(即时数据处理及分析的要求),IBM主机都可以应对挑战:System z能够凭借海量处理能力和强大的扩展力,有效应对海量数据带来的挑战;超强的虚拟化能力和混合架构体系帮助实现数据整合,有效降低数据多样性带来的数据分析复杂度;主机最新的DB2数据分析加速器(IDAA)及SPSS预测分析等技术帮助完成OLTAP类应用,并能满足实时业务分析的新需求。
大数据中的交易型数据,需要即时、安全、可扩展性和高可用的平台;而分析型数据则需要海量处理和实时分析数据的能力。从数据交易(OLTP)应用来看,在单机环境下,主机具有最快的CPU主频5.5GHz,单机可配置CPU 101颗,主机独有的4级缓存架构还可充分发挥高主频CPU性能,单机处理能力高达78000MIPS(每秒处理百万级的机器语言指令数)。而在多机Parallel Sysplex系统综合体环境下,主机具备高达32个节点的物理扩展能力,独有的耦合器设计保障最佳线路扩展。诞生于1988年的硬件逻辑分区技术,支持Z/OS、ZVM、ZLinux等多种多任务操作系统,支持数百上千的Linux镜像,混合负载下典型利用率在85%以上,这些超强的虚拟化能力帮助主机实现高效负载和数据整合,而zEnterprise混合体系架构通过支持不同处理器和包括ZOS、AIX、Linux、Windows多种主流的操作系统,可实现异构环境的整合。
尤其值得一提的是主机在数据分析应用领域(OLAP)的技术创新。从传统的商业智能向交易实时分析推进,用户所面临的技术挑战是数据拷贝和移动的需求,以及多平台架构共存导致的维护和管理的复杂性。主机的性能可以最大程度地减少数据拷贝和移动,统一平台管理,降低复杂度。DB2数据分析加速器(IDAA)可以帮助主机实现OLTP和OLAP的高效无缝整合。IDAA基于成熟的PureData(Netezza)技术,可以大幅降低复杂查询的响应时间,提高分析应用的实时性,大幅降低数据移动的需求,降低分析应用的设计和开发复杂度。IDAA和DB2紧密集成,应用更为透明,DB2可自动调度。
此外,SPSS技术可以帮助主机在实现在线交易实时分析上更具优势,SPSS自定义函数可实现按需调用。有了高端的主机硬件架构和最新的软件技术,在大数据时代,主机依然通过创新保持核心平台的地位。