论文部分内容阅读
通常，企业里面到处都充斥着数据。事实上各行各业的数据量均经历了几何级数的增长，无论是医疗卫生还是金融，抑或是零售业还是制造业。
在此类海量数据库中，隐藏着无数商业秘密，也孕育着很多机遇以及潜在的成功，但将这些信息（除了由媒体和视频生成的非结构化信息之外，还包括历史数据）利用起来却是一项令人望而生畏的工程。
“许多组织会累积30 年或30 年以上的交易数据，此外还有大量多媒体数据。”埃森哲咨询公司首席技术策略官兼总经理柯蒂斯（Gary Curtis）说，“综合所有信息并理出头绪是企业在数码时代面临的挑战。目前很少有组织能够充分发挥其数据的潜力。”
不可否认的是，这是一项艰巨的挑战。Corporate Executive Board 咨询公司在对5000 家公司进行了一项研究后发现，尽管对数据进行分析并获得有效信息的能力已成为全球各组织的头等大事，但是真正在这方面取得显著成绩的公司并不多见。
根据CEB 的研究结果，仅有38% 的员工和50% 的高级经理有能力根据数据进行合理决策。在许多组织中，最大的风险来自过度分析。超过40% 的员工更愿意相信分析结果而非自己的判断力，只有近20% 的员工会依直觉行事。
CEB 认为，有能力做出优秀决策的员工——“知情怀疑论者”能够有效地在直觉判断力与分析结果之间取得平衡。这些人拥有强大的分析技能，并且肯倾听他人对于分析结果的意见，同时他们也敢于发表不同意见。
在今天这样一个数字驱动的大环境下，企业必须能够制定周密计划并且实施可行的解决方案以管理大数据。“这是无法回避的—数据涉及各行各业。”印度塔塔咨询服务公司（Tata Consultancy Services）的全球顾问实践信息管理总监维斯瓦纳桑（Kalyan Viswanathan）强调说，“大数据正在改变业务，并且创造新的风险以及机遇。明智的组织都在寻找对其进行有效利用的方式。”
新时代的数据管理
从计算机应用诞生之日起，各公司就一直在寻找对不断增长的数据加以管理和利用的方法。包含更多信息和更多关联点的大数据正处在这一潮流的核心。据麦肯锡咨询公司估计，普通大型企业目前储存的数据量已达到200TB。
各公司必须设法处理急速增长的非系统化数据，传统数据库或数据仓库并不适合管理这类数据。埃森哲的柯蒂斯表示，“公司在过去数年间，数据来源的种类变得极为繁多。”
大数据可释放数据背后潜藏的价值。它能让数据更加透明，更多地被应用于日常业务；它能借助更多更广泛的数据组给企业提供诸多洞见；它能创建更多的细分市场，以便公司制定更具针对性的营销活动和销售技巧；它能帮助公司汇总所有信息，设计出本来可能会被忽略的新产品和服务。有效运用大数据的组织往往能够获得显著的竞争优势，并挖掘出新的商机。
但是处理大数据并不等于只是安装一套系统，然后就能自动获得结果。企业需要使用正确的技术和工具，制定合适的工作流程和政策，物色善于使用分析法和预测分析软件的人才，从而打造产品和服务以满足瞬息万变的市场需求。
“大数据的处理需要企业在数据仓库、数据整合、商业智能、数据可视化工具、商业分析法和预测建模上大量投入。”塔塔咨询的维斯瓦纳桑如是说，“此外还需要应用运算法则从而能够发现其中的各种规律、关联和关系。”
向先驱公司学习
互联网零售商和服务供应商亚马逊（Amazon）是在管理大数据方面处于领先的公司之一。很显然，公司面对无穷庞大的数据量，非常需要利用这些数据去了解客户行为，改善运营质量和成本，推出创新性的产品功能，并最终提高公司收益。
亚马逊Elastic Map Reduce（EMR）计划的总经理西罗塔（PeterSirota）表示，亚马逊依靠其可扩展的环境（包括云资源），只需数分钟或数小时（而非数天或数周）即可得出结论和答案。
“Amazon.com 采用多种数据源，包括来自多个应用服务器上的非结构化或者半结构化的记录文件，以及来自多种数据库系统的结构化数据。”西罗塔说。这一环境同样也允许亚马逊及其客户“存储和处理各种类型的数据，包括图像、视频、DNA 序列和天气传感器数据以及从第三方来源（例如Twitter 、Facebook 和Salesforce）采集的数据，以更妥善地管理产品数据库，并且分析有助于提高运营业绩的指标”。
这家触角遍及全球的在线巨头依靠开源的Apache Hadoop 进行分布式处理（包括非结构化数据）。
此外，关系型数据库管理系统（RDBMS）能够让亚马逊制作各种报告，并针对既定的问题对结构化数据进行优化查询。
“Hadoop 和RDBMS 是互补性的技术。”西罗塔说。此外，通过亚马逊的简单存储服务（Amazon S3）存储超大量的数据，再加上内嵌的数据处理、分析和搜索工具，亚马逊为其内部运营和使用其服务的外围公司改写了大数据技术的应用领域。
西罗塔指出，云技术大大改变了大数据技术的应用前景。“你可以更快地从数据中得出有用的结果，而所付出的成本是如此之低，这让传统技术望尘莫及。”他说道。
“云技术提供了即时扩展性和弹性。该技术能让你更快地就所关注的数据问题提出疑问，并迅速获得有意义的解答。定期、全面地对大数据进行分析将有可能转变你与客户互动并做出反应的方式。”
重新设计业务模式
越来越多的公司和政府机构正转而采用大数据技术来重新设计其业务模式。塔塔咨询的维斯瓦纳桑表示，广告商正从堆积如山的数据中筛选出有效信息，以便更透彻地认识顾客的购买行为以及提升业绩的方式。零售商则综合客户行为、心理图表和客户生命周期事件以创建更精确的档案。
金融服务公司在多种数据点之间找到关联，以便推出新服务和更有效地销售现有服务。医疗卫生服务的提供商则使用大数据技术改善业绩和成本结构。 在已经接纳该概念的公司中包括风能技术企业维斯塔斯（Vestas Wind Systems） 。这家来自丹麦兰讷斯的公司在全球67 个国家和地区部署了44000 多个涡轮发电机，它使用大量数据集以便更好地发现在哪里安放涡轮发电机才能达到最佳效果。
据维斯塔斯负责工厂选址和预测的副总裁克里斯滕森（Lars Christian Christensen）说，他们分析了178 个参数，包括云量、湿度、太阳辐射、卫星图像、毁林图和大气压。除此之外，研究人员还必须以小时为单位查看过去12 年间的参数。“那是一个巨大的多维信息体系。”他说。
维斯塔斯采用了IBM 提供的大数据分析系统来解析数据库，该数据库存储的数据量预期将在四年之内突破20PB。以前，分析师可能要花数周时间，消耗大量资源才能梳理完这些堆积如山的数据。
如今，维斯塔斯拥有了一台名为Firestorm 的超级计算机，它由1222 台工作负载优化的System x iDataPlex 联机服务器组成，公司便在Firestorm 上运行IBM BigInsights 软件。这台超级计算机每秒可进行150 万亿次运算，不到一个小时就能通过对数据组的分析确定安放涡轮发电机的最佳地点。
“我们能够更快地向客户提供答案，以更有效地帮助他们进行决策并制定创收方案。” 克里斯滕森说， “该系统大大降低了规划流程的复杂度。我们处理数据的方式和整个分析流程都发生了变化。”
应对独特挑战
埃森哲的柯蒂斯指出，大数据给企业带来了一些独特的挑战。举例来说，企业必须决定如何将多种不同的数据集联系在一起从而获得新的认识。这需要分析师和业务专家发挥创造性思维。
另一方面，组织必须采集不同形式的非结构化数据，包括视频片段、音频文件和媒体源。“必须有一种方式找到这些文件，了解它们提供了哪些数据，以及如何对这些数据进行有效利用。”柯蒂斯说。尽管与之相关的技术已经存在——其中包括元数据的应用——不过这一领域仍在不断发展演变。
企业还必须解决数据管理方面的问题，尤其是哪些业务部门应当拥有和管理数据以及谁有权获取数据。旗下有不同业务部门（例如零售银行、商业银行、理财、经纪和其他服务）的金融公司更容易遇到这方面的挑战。
在某些情况下，要进行清楚地划分会不太容易，因为数据可能存在于某个业务合作伙伴或服务提供商运营的服务器上。“关键是数据要得到有效管理，并得到很好的保存。”柯蒂斯说，“数据管理问题必须得到解决。”
整合社交媒体
公司也在寻求将社交媒体整合到大数据模型中。位于意大利米兰的互联网在线商业服务提供商Matrix 主要帮助各类公司制定数字化战略，以用于品牌塑造和形象管理。其客户从汽车制造商到餐厅都有。
Matrix 销售总监派特莱拉（Alessandro Petrella）表示，使用SAS Content Categorization 和SAS Text Miner 后，公司能够精密监控和分析网络信息、社交媒体交流和其他活动。Matrix 不断从500 多个新闻源和在线来源采集数据，并将信息输入Netezza 数据库。公司随后将数据输入SAS 软件，借助标准的业务分类法对其进行清理和归类。它还对其运算规则进行不断改进，并定期加入新的数据元素。
该数据库的总量目前已超过2TB ，它也越来越能够有效地了解公众对一个公司的认知和看法。派特莱拉说，“我们有能力高速且有效地处理数据。”
根据Ovum 咨询公司针对企业高管进行的一份最新调查，多达三分之二的受访者提到，利用大数据技术最重要的商业收益体现在运营和战略决策流程的改善，以及客户服务的改善。该调查还得出了同样重要的的另一个发现：现在对大数据技术有兴趣的已经不只是大企业。Ovum 发现，在数据仓库容量达到1TB 甚至更大规模的公司中，有38% 的公司的年收入低于5 000 万美元。
Ovum 预测，由于各组织都在不断寻求更好的办法去分析客户细分市场，防止客户流失，管理公共交通网络和处理大量其他的任务，在未来两年内对大数据的需求将变得更普遍。
埃森哲的柯蒂斯表示，所有组织（尤其是IT 部门）必须了解大数据的运作规律，然后制定出未来利用和管理此类数据的清晰战略。他建议以亚马逊、谷歌和雅虎这些公司为模型建立数据战略。这些公司拥有世界上最大的数据中心，从它们那里可以“窥探未来计算技术的前景”。
柯蒂斯还建议技术部门和业务部门的领导者进行合作，对大数据技术获得全面的认知。“这里必然存在一个相互学习的过程，”他指出，“要推动一个大数据项目，他们必须一起协作。”
塔塔咨询的维斯瓦纳桑表示，尽管大数据技术还处于早期发展阶段，但是它必将成为长远的趋势。“随着消费者转而使用智能手机、平板电脑以及其他数字化设备，各公司累积的数据将越来越多。引入大数据技术并加以有效运用的公司将获得更明显的竞争优势，与几年前不同，它们现在能够更好地认识问题、把握趋势。”（本文转自《世界经理人》，秦岭译。作者Samuel Greengard 为Baseline 特约的自由作家）
在此类海量数据库中，隐藏着无数商业秘密，也孕育着很多机遇以及潜在的成功，但将这些信息（除了由媒体和视频生成的非结构化信息之外，还包括历史数据）利用起来却是一项令人望而生畏的工程。
“许多组织会累积30 年或30 年以上的交易数据，此外还有大量多媒体数据。”埃森哲咨询公司首席技术策略官兼总经理柯蒂斯（Gary Curtis）说，“综合所有信息并理出头绪是企业在数码时代面临的挑战。目前很少有组织能够充分发挥其数据的潜力。”
不可否认的是，这是一项艰巨的挑战。Corporate Executive Board 咨询公司在对5000 家公司进行了一项研究后发现，尽管对数据进行分析并获得有效信息的能力已成为全球各组织的头等大事，但是真正在这方面取得显著成绩的公司并不多见。
根据CEB 的研究结果，仅有38% 的员工和50% 的高级经理有能力根据数据进行合理决策。在许多组织中，最大的风险来自过度分析。超过40% 的员工更愿意相信分析结果而非自己的判断力，只有近20% 的员工会依直觉行事。
CEB 认为，有能力做出优秀决策的员工——“知情怀疑论者”能够有效地在直觉判断力与分析结果之间取得平衡。这些人拥有强大的分析技能，并且肯倾听他人对于分析结果的意见，同时他们也敢于发表不同意见。
在今天这样一个数字驱动的大环境下，企业必须能够制定周密计划并且实施可行的解决方案以管理大数据。“这是无法回避的—数据涉及各行各业。”印度塔塔咨询服务公司（Tata Consultancy Services）的全球顾问实践信息管理总监维斯瓦纳桑（Kalyan Viswanathan）强调说，“大数据正在改变业务，并且创造新的风险以及机遇。明智的组织都在寻找对其进行有效利用的方式。”
新时代的数据管理
从计算机应用诞生之日起，各公司就一直在寻找对不断增长的数据加以管理和利用的方法。包含更多信息和更多关联点的大数据正处在这一潮流的核心。据麦肯锡咨询公司估计，普通大型企业目前储存的数据量已达到200TB。
各公司必须设法处理急速增长的非系统化数据，传统数据库或数据仓库并不适合管理这类数据。埃森哲的柯蒂斯表示，“公司在过去数年间，数据来源的种类变得极为繁多。”
大数据可释放数据背后潜藏的价值。它能让数据更加透明，更多地被应用于日常业务；它能借助更多更广泛的数据组给企业提供诸多洞见；它能创建更多的细分市场，以便公司制定更具针对性的营销活动和销售技巧；它能帮助公司汇总所有信息，设计出本来可能会被忽略的新产品和服务。有效运用大数据的组织往往能够获得显著的竞争优势，并挖掘出新的商机。
但是处理大数据并不等于只是安装一套系统，然后就能自动获得结果。企业需要使用正确的技术和工具，制定合适的工作流程和政策，物色善于使用分析法和预测分析软件的人才，从而打造产品和服务以满足瞬息万变的市场需求。
“大数据的处理需要企业在数据仓库、数据整合、商业智能、数据可视化工具、商业分析法和预测建模上大量投入。”塔塔咨询的维斯瓦纳桑如是说，“此外还需要应用运算法则从而能够发现其中的各种规律、关联和关系。”
向先驱公司学习
互联网零售商和服务供应商亚马逊（Amazon）是在管理大数据方面处于领先的公司之一。很显然，公司面对无穷庞大的数据量，非常需要利用这些数据去了解客户行为，改善运营质量和成本，推出创新性的产品功能，并最终提高公司收益。
亚马逊Elastic Map Reduce（EMR）计划的总经理西罗塔（PeterSirota）表示，亚马逊依靠其可扩展的环境（包括云资源），只需数分钟或数小时（而非数天或数周）即可得出结论和答案。
“Amazon.com 采用多种数据源，包括来自多个应用服务器上的非结构化或者半结构化的记录文件，以及来自多种数据库系统的结构化数据。”西罗塔说。这一环境同样也允许亚马逊及其客户“存储和处理各种类型的数据，包括图像、视频、DNA 序列和天气传感器数据以及从第三方来源（例如Twitter 、Facebook 和Salesforce）采集的数据，以更妥善地管理产品数据库，并且分析有助于提高运营业绩的指标”。
这家触角遍及全球的在线巨头依靠开源的Apache Hadoop 进行分布式处理（包括非结构化数据）。
此外，关系型数据库管理系统（RDBMS）能够让亚马逊制作各种报告，并针对既定的问题对结构化数据进行优化查询。
“Hadoop 和RDBMS 是互补性的技术。”西罗塔说。此外，通过亚马逊的简单存储服务（Amazon S3）存储超大量的数据，再加上内嵌的数据处理、分析和搜索工具，亚马逊为其内部运营和使用其服务的外围公司改写了大数据技术的应用领域。
西罗塔指出，云技术大大改变了大数据技术的应用前景。“你可以更快地从数据中得出有用的结果，而所付出的成本是如此之低，这让传统技术望尘莫及。”他说道。
“云技术提供了即时扩展性和弹性。该技术能让你更快地就所关注的数据问题提出疑问，并迅速获得有意义的解答。定期、全面地对大数据进行分析将有可能转变你与客户互动并做出反应的方式。”
重新设计业务模式
越来越多的公司和政府机构正转而采用大数据技术来重新设计其业务模式。塔塔咨询的维斯瓦纳桑表示，广告商正从堆积如山的数据中筛选出有效信息，以便更透彻地认识顾客的购买行为以及提升业绩的方式。零售商则综合客户行为、心理图表和客户生命周期事件以创建更精确的档案。
金融服务公司在多种数据点之间找到关联，以便推出新服务和更有效地销售现有服务。医疗卫生服务的提供商则使用大数据技术改善业绩和成本结构。 在已经接纳该概念的公司中包括风能技术企业维斯塔斯（Vestas Wind Systems） 。这家来自丹麦兰讷斯的公司在全球67 个国家和地区部署了44000 多个涡轮发电机，它使用大量数据集以便更好地发现在哪里安放涡轮发电机才能达到最佳效果。
据维斯塔斯负责工厂选址和预测的副总裁克里斯滕森（Lars Christian Christensen）说，他们分析了178 个参数，包括云量、湿度、太阳辐射、卫星图像、毁林图和大气压。除此之外，研究人员还必须以小时为单位查看过去12 年间的参数。“那是一个巨大的多维信息体系。”他说。
维斯塔斯采用了IBM 提供的大数据分析系统来解析数据库，该数据库存储的数据量预期将在四年之内突破20PB。以前，分析师可能要花数周时间，消耗大量资源才能梳理完这些堆积如山的数据。
如今，维斯塔斯拥有了一台名为Firestorm 的超级计算机，它由1222 台工作负载优化的System x iDataPlex 联机服务器组成，公司便在Firestorm 上运行IBM BigInsights 软件。这台超级计算机每秒可进行150 万亿次运算，不到一个小时就能通过对数据组的分析确定安放涡轮发电机的最佳地点。
“我们能够更快地向客户提供答案，以更有效地帮助他们进行决策并制定创收方案。” 克里斯滕森说， “该系统大大降低了规划流程的复杂度。我们处理数据的方式和整个分析流程都发生了变化。”
应对独特挑战
埃森哲的柯蒂斯指出，大数据给企业带来了一些独特的挑战。举例来说，企业必须决定如何将多种不同的数据集联系在一起从而获得新的认识。这需要分析师和业务专家发挥创造性思维。
另一方面，组织必须采集不同形式的非结构化数据，包括视频片段、音频文件和媒体源。“必须有一种方式找到这些文件，了解它们提供了哪些数据，以及如何对这些数据进行有效利用。”柯蒂斯说。尽管与之相关的技术已经存在——其中包括元数据的应用——不过这一领域仍在不断发展演变。
企业还必须解决数据管理方面的问题，尤其是哪些业务部门应当拥有和管理数据以及谁有权获取数据。旗下有不同业务部门（例如零售银行、商业银行、理财、经纪和其他服务）的金融公司更容易遇到这方面的挑战。
在某些情况下，要进行清楚地划分会不太容易，因为数据可能存在于某个业务合作伙伴或服务提供商运营的服务器上。“关键是数据要得到有效管理，并得到很好的保存。”柯蒂斯说，“数据管理问题必须得到解决。”
整合社交媒体
公司也在寻求将社交媒体整合到大数据模型中。位于意大利米兰的互联网在线商业服务提供商Matrix 主要帮助各类公司制定数字化战略，以用于品牌塑造和形象管理。其客户从汽车制造商到餐厅都有。
Matrix 销售总监派特莱拉（Alessandro Petrella）表示，使用SAS Content Categorization 和SAS Text Miner 后，公司能够精密监控和分析网络信息、社交媒体交流和其他活动。Matrix 不断从500 多个新闻源和在线来源采集数据，并将信息输入Netezza 数据库。公司随后将数据输入SAS 软件，借助标准的业务分类法对其进行清理和归类。它还对其运算规则进行不断改进，并定期加入新的数据元素。
该数据库的总量目前已超过2TB ，它也越来越能够有效地了解公众对一个公司的认知和看法。派特莱拉说，“我们有能力高速且有效地处理数据。”
根据Ovum 咨询公司针对企业高管进行的一份最新调查，多达三分之二的受访者提到，利用大数据技术最重要的商业收益体现在运营和战略决策流程的改善，以及客户服务的改善。该调查还得出了同样重要的的另一个发现：现在对大数据技术有兴趣的已经不只是大企业。Ovum 发现，在数据仓库容量达到1TB 甚至更大规模的公司中，有38% 的公司的年收入低于5 000 万美元。
Ovum 预测，由于各组织都在不断寻求更好的办法去分析客户细分市场，防止客户流失，管理公共交通网络和处理大量其他的任务，在未来两年内对大数据的需求将变得更普遍。
埃森哲的柯蒂斯表示，所有组织（尤其是IT 部门）必须了解大数据的运作规律，然后制定出未来利用和管理此类数据的清晰战略。他建议以亚马逊、谷歌和雅虎这些公司为模型建立数据战略。这些公司拥有世界上最大的数据中心，从它们那里可以“窥探未来计算技术的前景”。
柯蒂斯还建议技术部门和业务部门的领导者进行合作，对大数据技术获得全面的认知。“这里必然存在一个相互学习的过程，”他指出，“要推动一个大数据项目，他们必须一起协作。”
塔塔咨询的维斯瓦纳桑表示，尽管大数据技术还处于早期发展阶段，但是它必将成为长远的趋势。“随着消费者转而使用智能手机、平板电脑以及其他数字化设备，各公司累积的数据将越来越多。引入大数据技术并加以有效运用的公司将获得更明显的竞争优势，与几年前不同，它们现在能够更好地认识问题、把握趋势。”（本文转自《世界经理人》，秦岭译。作者Samuel Greengard 为Baseline 特约的自由作家）