论文部分内容阅读
与几年前的行业应用相比，今天的大数据分析市场已经截然不同。未来十年，这一全球性行业的各个领域都将掀起变革、创新和颠覆的浪潮。
在最近发布的市场研究年度更新报告中，SiliconAngle媒体分析集团Wikibon发现，全球大数据分析市场2017年比前一年增长了24.5%。这比上一年报告中预测的要快得多，主要原因是公有云的部署和应用比预期要强，以及平台、工具和其他解决方案的加速融合。而且，企业通过大数据分析更快地走出试验和概念验证阶段，并从部署中获得了更高的业务价值。
展望未来，Wikibon预测到2027年，大数据分析市场整体年增长率将达到11%，全球达到1030亿美元。未来几年市场的大部分增长是依靠物联网（IoT）、移动和其他边缘计算等应用领域采用大数据分析来维持的。
未来十年大数据分析发展的主要趋势
正如Wikibon研究所证实的，未来十年将推动大数据分析行业发展的主要趋势如下：
·公有云提供商正在扩大其影响范围。大数据行业汇聚了三大主要公有云提供商——亚马逊网络服务、微软Azure和谷歌云平台，大多数软件供应商开发的解决方案都是在这些平台上运行的。这些和其他大数据公有云提供商，包括IBM和Oracle这些老牌的大数据供应商，提供托管IaaS和PaaS数据湖，鼓励客户和合作伙伴在其上开发新的应用程序，并迁移老的应用程序。结果，纯数据平台/NoSQL供应商似乎变得平淡无奇，在多元化公有云提供商占据主导地位的大数据领域被逐步边缘化了。
·公有云相对于私有云的优势在继续扩大。公有云正在成为每一客户群首选的大数据分析平台。这是因为公有云解决方案比本地堆栈更为成熟，增加了更丰富的功能，而且在总体拥有成本上更有竞争力。相对于为本地部署所设计的大数据分析解决方案工作环境，公有云能够更迅速地扩展其应用程序编程接口生态支持系统，增强其管理工具。
·企业大数据工程在全面部署公有云的过程中，中间会采用混合云作为过渡。很多大型企业的大数据计划都会考虑混合云，但主要是作为一种过渡策略。这是因为企业越来越倾向于把更多的大数据资产放在公有云上。认识到这一趋势后，传统的大数据供应商正在针对混合应用情形优化其产品。出于同样的原因，正在重新设计基于本地的大数据平台以便在公有云中部署。
·基于云的大数据孤岛融合帮助企业加速实现时间价值。用户开始加快将其孤立的大数据资产整合到公有云中。公有云提供商成为主流，打破了迄今为止一直困扰企业私有大数据架构的跨部门孤岛。同样重要的是，不论基于云的还是基于本地的大数据解决方案都正在融合为集成产品和服务，以降低复杂度，加速实现时间价值。更多的解决方案提供商正在提供标准化的API，目的是简化访问、加速开发，在其大数据解决方案堆栈中实现更全面的管理。
·创新的大数据初创公司把越来越复杂的人工智能应用推向了市场。创新的应用程序提供商借助于人工智能解决方案，开始颠覆大数据竞争格局。对于新进入市场的企业，其大部分创新都是针对公有云或者混合云部署而设计的，在每一个大数据领域都掀起了竞争浪潮。过去几年中，很多数据库、流处理和数据科学新初创公司进入了市场。
·颠覆性的大数据方法正在成为既有平台的可行替代方案。不久之后，融合了物联网、区块链和流计算的下一代技术领域将出现新一代的“ 独角兽”大数据平台提供商。大部分这些下一代大数据平台将针对机器学习、深度学习和人工智能的管理端到端DevOps流水线进行优化。而且，大数据平台正在被设计成用于人工智能微服务以及边缘设备中。
·Hadoop正在成为一个大数据难题。我们看到的迹象表明，市场把Hadoop视为一种传统的大数据技术，而不是颠覆性的业务应用战略平台。然而，Hadoop是一种成熟的技术，广泛应用于很多用户IT部门中的非结构化信息提取等关键应用情形中，在很多企业中仍然有很长的使用寿命。从长远考虑，供应商通过在独立开发的硬件和软件组件之间实现更平滑的互操作性，来增强他们的产品服务。
·用户在开放的生态支持系统中越来越多地混合部署多家供应商的大数据产品并进行匹配。很少有大数据供应商提供采用了私有、非标准，或者非开源组件的解决方案。客户正利用当今竞争激烈的市场，借助大数据分析供应商不断增强自己。反之，供应商则将他们的工具分散到模块化体系结构中，在这种架构中，客户可以在各种功能级别上交换组件。在锁定一家全堆栈供应商已经成为过去的市场上，对于希望持续获得市场份额的供应商而言，这是最好的方法。
·采用创新方法对数据库进行解构和重组。从架构的观点来看，我们所熟悉的数据库越来越少了。展望未来，流、内存和无服务器大数据分析基础设施将占据绝对主导地位。供应商正在探索新的方法来重新构建核心数据库功能，以满足新出现的需求，例如自动机器学习流水线和面向边缘的认知物联网分析等。在这一演进过程中，越来越多的高性能业务分析功能被集成到各种类型的数据平台中，导致分析和应用数据库开始融合。此外，数据库存储引擎正在成为主要用于机器数据的存储库，通过关键值索引和对象模式等可选结构对这些数据进行寻址。
大数据增强型编程会越来越复杂。开发人员能够使用越来越多的不同DevOps工具，自动完成机器学习、深度学习、人工智能和其他人工智能资产等各种任务的开发、部署和管理。越来越多的这些解决方案是利用专门的机器学习算法来推动超参数调整等机器学习开发功能。
·封装好的大数据分析应用程序变得更加普及。在未来十年中，更多的用户将通过预构建、预训练和模板化云服务的形式获得大数据分析解决方案。更多的这些服务将自动适应并调整它们的嵌入式机器学习、深度学习和人工智能模型，以不断交付最佳业务成果。更多的这些服务将结合经过预先训练的模型，客户可以对其进行调整和扩展，以满足自己的具体需求。
大数据分析演进和部署面临的障碍
尽管针对大数据分析应用的预测看起来很乐观，但仍然一直有一些问题，这些问题使得用户很难最大限度地发挥出这些技术的投资价值。其中最主要的有：
·过于复杂。大数据分析环境和应用仍然过于复杂。供应商应继续简化这些环境的接口、体系结构、特性和工具。这样做将使得复杂的大数据分析功能能够被主流用户和开发人员所使用，很多这类人员所在的企业缺乏具有必要专业技能的IT员工。
·繁琐的开销。对于很多IT专业人员而言，大数据分析管理和治理过程仍然过于孤立，不但成本高而且效率低。供应商需要建立经过预封装的工作流程，帮助大批专业人才更有效、迅速、准确地管理数据、元数据、分析和服务功能。
·过长的流水线。大数据分析应用开发和运营流水线仍然太耗时，而且是由人工完成的。供应商需要加强工具的自动化功能，以便提高用户技术人员的工作效率，同时确保即使是技术能力不太高的人员也能处理复杂的任务。
·客户应用。大数据分析专业服务仍然是开发、部署和管理很多自定义应用程序的基础。对于跨混合云的数据驱动应用来说，這一点尤其适用，因为这些应用涉及到不同的平台和工具，并包含了难以理解的复杂的数据过程。供应商应针对普通大数据分析应用加强经过预封装的应用内容，同时给用户提供自助服务和可视化工具，在没有外部帮助的情况下也能够完成具体的复杂业务逻辑。
对于企业IT，Wikibon的主要建议是开始将更多的大数据分析开发工作迁移到公有云环境中。这将有助于提高利用亚马逊网络服务、微软、谷歌、IBM和其他公有云提供商提供的快速成熟、低成本服务的能力。企业应该考虑构建企业混合云，以确保在未来几年顺利过渡到公有云。
James Kobielus是SiliconAngle Wikibon的人工智能、数据科学以及应用开发首席分析师。
原文网址
https：//www.infoworld.com/article/3261145/big-data/big-data-analytics-the-cloud-fueled-shift-now-under-way.html
在最近发布的市场研究年度更新报告中，SiliconAngle媒体分析集团Wikibon发现，全球大数据分析市场2017年比前一年增长了24.5%。这比上一年报告中预测的要快得多，主要原因是公有云的部署和应用比预期要强，以及平台、工具和其他解决方案的加速融合。而且，企业通过大数据分析更快地走出试验和概念验证阶段，并从部署中获得了更高的业务价值。
展望未来，Wikibon预测到2027年，大数据分析市场整体年增长率将达到11%，全球达到1030亿美元。未来几年市场的大部分增长是依靠物联网（IoT）、移动和其他边缘计算等应用领域采用大数据分析来维持的。
未来十年大数据分析发展的主要趋势
正如Wikibon研究所证实的，未来十年将推动大数据分析行业发展的主要趋势如下：
·公有云提供商正在扩大其影响范围。大数据行业汇聚了三大主要公有云提供商——亚马逊网络服务、微软Azure和谷歌云平台，大多数软件供应商开发的解决方案都是在这些平台上运行的。这些和其他大数据公有云提供商，包括IBM和Oracle这些老牌的大数据供应商，提供托管IaaS和PaaS数据湖，鼓励客户和合作伙伴在其上开发新的应用程序，并迁移老的应用程序。结果，纯数据平台/NoSQL供应商似乎变得平淡无奇，在多元化公有云提供商占据主导地位的大数据领域被逐步边缘化了。
·公有云相对于私有云的优势在继续扩大。公有云正在成为每一客户群首选的大数据分析平台。这是因为公有云解决方案比本地堆栈更为成熟，增加了更丰富的功能，而且在总体拥有成本上更有竞争力。相对于为本地部署所设计的大数据分析解决方案工作环境，公有云能够更迅速地扩展其应用程序编程接口生态支持系统，增强其管理工具。
·企业大数据工程在全面部署公有云的过程中，中间会采用混合云作为过渡。很多大型企业的大数据计划都会考虑混合云，但主要是作为一种过渡策略。这是因为企业越来越倾向于把更多的大数据资产放在公有云上。认识到这一趋势后，传统的大数据供应商正在针对混合应用情形优化其产品。出于同样的原因，正在重新设计基于本地的大数据平台以便在公有云中部署。
·基于云的大数据孤岛融合帮助企业加速实现时间价值。用户开始加快将其孤立的大数据资产整合到公有云中。公有云提供商成为主流，打破了迄今为止一直困扰企业私有大数据架构的跨部门孤岛。同样重要的是，不论基于云的还是基于本地的大数据解决方案都正在融合为集成产品和服务，以降低复杂度，加速实现时间价值。更多的解决方案提供商正在提供标准化的API，目的是简化访问、加速开发，在其大数据解决方案堆栈中实现更全面的管理。
·创新的大数据初创公司把越来越复杂的人工智能应用推向了市场。创新的应用程序提供商借助于人工智能解决方案，开始颠覆大数据竞争格局。对于新进入市场的企业，其大部分创新都是针对公有云或者混合云部署而设计的，在每一个大数据领域都掀起了竞争浪潮。过去几年中，很多数据库、流处理和数据科学新初创公司进入了市场。
·颠覆性的大数据方法正在成为既有平台的可行替代方案。不久之后，融合了物联网、区块链和流计算的下一代技术领域将出现新一代的“ 独角兽”大数据平台提供商。大部分这些下一代大数据平台将针对机器学习、深度学习和人工智能的管理端到端DevOps流水线进行优化。而且，大数据平台正在被设计成用于人工智能微服务以及边缘设备中。
·Hadoop正在成为一个大数据难题。我们看到的迹象表明，市场把Hadoop视为一种传统的大数据技术，而不是颠覆性的业务应用战略平台。然而，Hadoop是一种成熟的技术，广泛应用于很多用户IT部门中的非结构化信息提取等关键应用情形中，在很多企业中仍然有很长的使用寿命。从长远考虑，供应商通过在独立开发的硬件和软件组件之间实现更平滑的互操作性，来增强他们的产品服务。
·用户在开放的生态支持系统中越来越多地混合部署多家供应商的大数据产品并进行匹配。很少有大数据供应商提供采用了私有、非标准，或者非开源组件的解决方案。客户正利用当今竞争激烈的市场，借助大数据分析供应商不断增强自己。反之，供应商则将他们的工具分散到模块化体系结构中，在这种架构中，客户可以在各种功能级别上交换组件。在锁定一家全堆栈供应商已经成为过去的市场上，对于希望持续获得市场份额的供应商而言，这是最好的方法。
·采用创新方法对数据库进行解构和重组。从架构的观点来看，我们所熟悉的数据库越来越少了。展望未来，流、内存和无服务器大数据分析基础设施将占据绝对主导地位。供应商正在探索新的方法来重新构建核心数据库功能，以满足新出现的需求，例如自动机器学习流水线和面向边缘的认知物联网分析等。在这一演进过程中，越来越多的高性能业务分析功能被集成到各种类型的数据平台中，导致分析和应用数据库开始融合。此外，数据库存储引擎正在成为主要用于机器数据的存储库，通过关键值索引和对象模式等可选结构对这些数据进行寻址。
大数据增强型编程会越来越复杂。开发人员能够使用越来越多的不同DevOps工具，自动完成机器学习、深度学习、人工智能和其他人工智能资产等各种任务的开发、部署和管理。越来越多的这些解决方案是利用专门的机器学习算法来推动超参数调整等机器学习开发功能。
·封装好的大数据分析应用程序变得更加普及。在未来十年中，更多的用户将通过预构建、预训练和模板化云服务的形式获得大数据分析解决方案。更多的这些服务将自动适应并调整它们的嵌入式机器学习、深度学习和人工智能模型，以不断交付最佳业务成果。更多的这些服务将结合经过预先训练的模型，客户可以对其进行调整和扩展，以满足自己的具体需求。
大数据分析演进和部署面临的障碍
尽管针对大数据分析应用的预测看起来很乐观，但仍然一直有一些问题，这些问题使得用户很难最大限度地发挥出这些技术的投资价值。其中最主要的有：
·过于复杂。大数据分析环境和应用仍然过于复杂。供应商应继续简化这些环境的接口、体系结构、特性和工具。这样做将使得复杂的大数据分析功能能够被主流用户和开发人员所使用，很多这类人员所在的企业缺乏具有必要专业技能的IT员工。
·繁琐的开销。对于很多IT专业人员而言，大数据分析管理和治理过程仍然过于孤立，不但成本高而且效率低。供应商需要建立经过预封装的工作流程，帮助大批专业人才更有效、迅速、准确地管理数据、元数据、分析和服务功能。
·过长的流水线。大数据分析应用开发和运营流水线仍然太耗时，而且是由人工完成的。供应商需要加强工具的自动化功能，以便提高用户技术人员的工作效率，同时确保即使是技术能力不太高的人员也能处理复杂的任务。
·客户应用。大数据分析专业服务仍然是开发、部署和管理很多自定义应用程序的基础。对于跨混合云的数据驱动应用来说，這一点尤其适用，因为这些应用涉及到不同的平台和工具，并包含了难以理解的复杂的数据过程。供应商应针对普通大数据分析应用加强经过预封装的应用内容，同时给用户提供自助服务和可视化工具，在没有外部帮助的情况下也能够完成具体的复杂业务逻辑。
对于企业IT，Wikibon的主要建议是开始将更多的大数据分析开发工作迁移到公有云环境中。这将有助于提高利用亚马逊网络服务、微软、谷歌、IBM和其他公有云提供商提供的快速成熟、低成本服务的能力。企业应该考虑构建企业混合云，以确保在未来几年顺利过渡到公有云。
James Kobielus是SiliconAngle Wikibon的人工智能、数据科学以及应用开发首席分析师。
原文网址
https：//www.infoworld.com/article/3261145/big-data/big-data-analytics-the-cloud-fueled-shift-now-under-way.html