论文部分内容阅读
大数据自身蕴藏着巨大的商业价值，其开发、利用和分析等一整套运作也将催生更多的行业机会，并带动相关产业的发展。
尽管一面频繁降价促销、一面广告攻势凌厉，但一家零售企业最近仍顶不住竞争对手频频扩大市场份额，连连丢城失地。通过深入研究，企业发现原来对手通过微博等社交网络以及智能手机的定位数据掌握消费者的喜好，加之从门店收集的各类数据，进行整合和分析，从而第一时间捕捉到了最全面的市场情绪。同时，他们将这些信息通过云计算平台与供应商和物流商的数据库联网，实时调整价格、自动补货、跟踪物流，轻松在各门店之间调配产品，实现了生产到终端消费者的无缝连接，大幅提升了对市场的反应速度。
一家地产企业通过各种渠道获取尽可能多的信息，更为全面了解自身的运营情况和外部的运营环境，从而准确地判断出应该何时融资、何时买地、何时批量上项目，从以往在各个经济不均衡之地圈地盖楼的“空间挣钱”方式转换至“时间挣钱”的方式，“快人一步”成为行业领先。
这些都是大数据应用的寻常景象。如同上世纪80年代的个人电脑，眼下，大数据还处于早期发展阶段，但它已成为新时代的关键生产要素和产品形态，具有广阔的应用前景及改变世界经济的力量。大数据的开发和应用不仅能为企业带来更出色的商业效益，同时也将催生更多的行业机会，孕育出色的解决方案提供商，并带动相关产业的共同发展。正因为如此，根据 IDC的测算，到2020 年，仅企业对大数据的支出一项就将超过2000 亿美元。
大数据的商业价值
IDC 在报告中提及，领军企业与其他企业之间最大的显著差别在于新数据类型的引入，这无疑是对大数据商业价值的充分肯定。传统的商业智能系统中用以分析的数据，大都是企业自身信息系统所产生的标准化和结构化的运营数据，只占到企业所能获取数据的不到15%。另外85%的非结构性和半结构性数据广泛存在于社交网络、物联网、移动计算、传感器和电子商务等媒介之中。企业如果能将这些新的数据与业务融合，决策的依据会更全面准确。电信咨询公司Ovum的最新调查显示，在北美、欧洲和亚太地区将近有半数以上的企业IT部门在不久的将来投资大数据分析。
早在2007年，沃尔玛就建立了一个存储能力高达4PB以上的超大数据中心，其数据量在2010年时已达到美国国会图书馆的167倍。通过对消费者的购物行为等非结构化数据进行分析，沃尔玛成为最了解顾客购物习惯的零售商。中国移动通过对社交媒体等各种来源的大数据分析，第一时间自动捕捉市场变化，再以最快捷的方式推送给指定负责人，使他在最短时间内获知市场行情。
电子商务企业作为大数据时代的“吃螃蟹者”，也已经初品其甘甜。早在2006年，eBay就成立了大数据分析平台，为了准确分析用户的购物行为，eBay定义了超过500种类型的数据，对顾客的行为进行跟踪分析。通过对关键字广告的投入产出进行衡量，公司精确计算出每一个关键字为eBay带来的投资回报，优化过后，自 2007 年以来，eBay 产品销售的广告费降低了99%，顶级卖家占总销售额的百分比却上升至32%。
国金证券TMT分析师赵国栋认为，企业应用大数据分为三步：第一是要融合企业内外的海量信息；第二要具备行业建模及分析的能力；第三要与企业的决策和业务流程深度整合。前两步是技术推动，第三步将引起企业组织、流程甚至是文化方面的变革。
催生新一代IT领袖
正因为其中所蕴藏的巨大价值，大数据成为了众多企业淘金的“圣地”。
IBM架构师史蒂夫·沃特（Stephen Watt）曾在《Deriving New Business Insights with Big Data》一文中简单阐述过大数据的生态系统。简而言之，大数据的生态系统，就是数据的生存周期。数据从产生，到处理，再到价值提取，最后被消费掉，这整个过程就构成了大数据的生态系统（图1）。每个步骤中都存在着不同的商业需求，已有不少成熟和初创公司深耕各自所在的领域，以期尽早占据优势地位。以投资Facebook而闻名的风险投资机构AccelPartners认为，大数据是信息技术未来发展的战略走向，将催生下一代价值数万亿美元的软件企业。
源自雅虎的大数据系统Hadoop，主要面向存储和处理成百上千TB直至PB级别的结构化、半结构化或非结构化的大数据。Hadoop能将大数据分解成多个子问题，将它们分配到成百上千个处理节点之上，再将结果汇集到一个小数据集当中，从而更容易分析得出最后的结果。
相比传统的数据存储系统，Hadoop成本更低。传统数据存储的费用是每GB 5美元，而在同样容量下，Hadoop的成本仅为0.25美元。此外，Hadoop具有更强的可扩展性，帮助企业用较低的成本为此前购买的设备添加额外的存储空间（图2）。仅这一性能就可在未来五年内使50%以上的数据都存储在Hadoop环境中。
如今，Hadoop已经成为AOL、
Facebook和Twitter这些公司大数据分析解决方案的主要提供商。类似Facebook这样的互联网企业，一天产生的数据要比许多大公司一年的数据还要多，它们通过Hadoop收集和存储这些数据，再使用开源数据仓库工具集中对其进行分析。
此外，各种新型大数据公司都呈现喜人的增长态势。Opera Solutions的客户将数据上传到Opera平台，Opera根据每个客户的个性化需求，雇佣各行业的专家来帮助他们进行数据分析，公司年营业额已经超过1亿美元。另一大数据服务商Teradata，公司2011年第1季度的营收比2010年同期增长了18%。在其总裁兼首席执行官看来，大数据需求市场的强劲表现，是营收增长的重要原因。
传统IT巨头也纷纷围攻抢食大数据盛宴。IBM凭借在硬件与软件方面的优势，提供端到端、整体的大数据解决方案。此外，在数据存储、分析等领域有着传统优势的厂商，如惠普、甲骨文等公司，在大数据领域也有着明显的优势。2011年10月，甲骨文发布了新版NoSQL数据库企业版，这是运行于Hadoop之上的大数据软件之一。除了花大力气开发自有技术，更多的企业希望通过合作与并购的方式来迅速弥补技术链条上的不足。微软宣布与Hortonwork公司建立新的合作伙伴关系，后者致力于Hadoop开发。为了增强非传统数据分析的能力，Teradata收购了Aster Data公司。照此情形来看，一些提供单一技术方案的IT公司，很可能难逃被收购的命运。
对于国内市场，国金证券分析师易欢欢表示，在电信、金融等重要行业，现在最大的投资建设就是数据中心的相应扩容，这几年还停留在储存部分信息阶段，未形成对海量信息的检索、分析、识别以及对未来业务的预测，提升的空间相当大。对地理信息系统进行相关研究的超图软件（300036）以及拥有非结构化数据的相应处理业务的拓而思（300229）以技术手段创新为依托，都已经开始向自己擅长的大数据方向衍生。用友软件（600588）则凭借IT系统重构的机会有望在大数据浪潮中分得一杯羹。对于电商来说，大数据不仅能助其准确决策，为企业自身业务提供支撑，如果拆分出来，也可以作为独立收入来源。淘宝第一个成熟的商业数据产品“数据魔方”计划将于2012年开放数据给第三方应用，届时有望成为淘宝另一项收入来源。
携手云计算
根据IDC的报告，未来十年全球大数据将增加50倍。仅在2011年，就有1.8万亿GB的大数据创建产生，相当于每位美国人每分钟写3条Tweet，而且还是不停地写2.6976万年。海量的数据需要足够空间来存储，大数据为云计算大规模与分布式的计算能力提供了应用的空间。
最近一年多来，谷歌、Facebook、Rackspace等公司纷纷投建新一代数据中心，大部分都采用更高效、节能、定制化的云服务器。根据IDC预测，80%的商业企业应用程序将被部署在云平台中。Gartner则预计到2016年底，1000家全球大型企业中将有半数以上会把与客户相关的敏感数据存储在公共云中。这对于一些空置的云计算数据中心无疑是一大利好。IBM中国开发中心信息管理部大数据开发部门经理王洪远更预测，大数据会引发数据仓库、数据挖掘、商业智能、云计算等应用的连锁反应。IBM 中国开发中心首席技术官（CTO）毛新生表示，电信、银行、保险等行业都特别希望利用互联网搜集海量信息，与原来交易系统中的数据结合起来，分析用户行为，过去做这些比较麻烦，现在云计算可以将上百万台机器转化成一台超大型计算机，使企业获得新的竞争力。
虽然炙手可热，但大数据时代的到来，对企业来说也存在着一些风险，包括企业网络和计算机系统是否跟得上海量数据的处理、数据能否及时更新、是否会丢失核心信息、如何处理格式繁杂的各种数据等。IDC预测，要充分发挥“大数据”额外的竞争优势，需要“大管道”和超高速的网络连接，这将使得网络的作用比以往更为关键。
尽管一面频繁降价促销、一面广告攻势凌厉，但一家零售企业最近仍顶不住竞争对手频频扩大市场份额，连连丢城失地。通过深入研究，企业发现原来对手通过微博等社交网络以及智能手机的定位数据掌握消费者的喜好，加之从门店收集的各类数据，进行整合和分析，从而第一时间捕捉到了最全面的市场情绪。同时，他们将这些信息通过云计算平台与供应商和物流商的数据库联网，实时调整价格、自动补货、跟踪物流，轻松在各门店之间调配产品，实现了生产到终端消费者的无缝连接，大幅提升了对市场的反应速度。
一家地产企业通过各种渠道获取尽可能多的信息，更为全面了解自身的运营情况和外部的运营环境，从而准确地判断出应该何时融资、何时买地、何时批量上项目，从以往在各个经济不均衡之地圈地盖楼的“空间挣钱”方式转换至“时间挣钱”的方式，“快人一步”成为行业领先。
这些都是大数据应用的寻常景象。如同上世纪80年代的个人电脑，眼下，大数据还处于早期发展阶段，但它已成为新时代的关键生产要素和产品形态，具有广阔的应用前景及改变世界经济的力量。大数据的开发和应用不仅能为企业带来更出色的商业效益，同时也将催生更多的行业机会，孕育出色的解决方案提供商，并带动相关产业的共同发展。正因为如此，根据 IDC的测算，到2020 年，仅企业对大数据的支出一项就将超过2000 亿美元。
大数据的商业价值
IDC 在报告中提及，领军企业与其他企业之间最大的显著差别在于新数据类型的引入，这无疑是对大数据商业价值的充分肯定。传统的商业智能系统中用以分析的数据，大都是企业自身信息系统所产生的标准化和结构化的运营数据，只占到企业所能获取数据的不到15%。另外85%的非结构性和半结构性数据广泛存在于社交网络、物联网、移动计算、传感器和电子商务等媒介之中。企业如果能将这些新的数据与业务融合，决策的依据会更全面准确。电信咨询公司Ovum的最新调查显示，在北美、欧洲和亚太地区将近有半数以上的企业IT部门在不久的将来投资大数据分析。
早在2007年，沃尔玛就建立了一个存储能力高达4PB以上的超大数据中心，其数据量在2010年时已达到美国国会图书馆的167倍。通过对消费者的购物行为等非结构化数据进行分析，沃尔玛成为最了解顾客购物习惯的零售商。中国移动通过对社交媒体等各种来源的大数据分析，第一时间自动捕捉市场变化，再以最快捷的方式推送给指定负责人，使他在最短时间内获知市场行情。
电子商务企业作为大数据时代的“吃螃蟹者”，也已经初品其甘甜。早在2006年，eBay就成立了大数据分析平台，为了准确分析用户的购物行为，eBay定义了超过500种类型的数据，对顾客的行为进行跟踪分析。通过对关键字广告的投入产出进行衡量，公司精确计算出每一个关键字为eBay带来的投资回报，优化过后，自 2007 年以来，eBay 产品销售的广告费降低了99%，顶级卖家占总销售额的百分比却上升至32%。
国金证券TMT分析师赵国栋认为，企业应用大数据分为三步：第一是要融合企业内外的海量信息；第二要具备行业建模及分析的能力；第三要与企业的决策和业务流程深度整合。前两步是技术推动，第三步将引起企业组织、流程甚至是文化方面的变革。
催生新一代IT领袖
正因为其中所蕴藏的巨大价值，大数据成为了众多企业淘金的“圣地”。
IBM架构师史蒂夫·沃特（Stephen Watt）曾在《Deriving New Business Insights with Big Data》一文中简单阐述过大数据的生态系统。简而言之，大数据的生态系统，就是数据的生存周期。数据从产生，到处理，再到价值提取，最后被消费掉，这整个过程就构成了大数据的生态系统（图1）。每个步骤中都存在着不同的商业需求，已有不少成熟和初创公司深耕各自所在的领域，以期尽早占据优势地位。以投资Facebook而闻名的风险投资机构AccelPartners认为，大数据是信息技术未来发展的战略走向，将催生下一代价值数万亿美元的软件企业。
源自雅虎的大数据系统Hadoop，主要面向存储和处理成百上千TB直至PB级别的结构化、半结构化或非结构化的大数据。Hadoop能将大数据分解成多个子问题，将它们分配到成百上千个处理节点之上，再将结果汇集到一个小数据集当中，从而更容易分析得出最后的结果。
相比传统的数据存储系统，Hadoop成本更低。传统数据存储的费用是每GB 5美元，而在同样容量下，Hadoop的成本仅为0.25美元。此外，Hadoop具有更强的可扩展性，帮助企业用较低的成本为此前购买的设备添加额外的存储空间（图2）。仅这一性能就可在未来五年内使50%以上的数据都存储在Hadoop环境中。
如今，Hadoop已经成为AOL、
Facebook和Twitter这些公司大数据分析解决方案的主要提供商。类似Facebook这样的互联网企业，一天产生的数据要比许多大公司一年的数据还要多，它们通过Hadoop收集和存储这些数据，再使用开源数据仓库工具集中对其进行分析。
此外，各种新型大数据公司都呈现喜人的增长态势。Opera Solutions的客户将数据上传到Opera平台，Opera根据每个客户的个性化需求，雇佣各行业的专家来帮助他们进行数据分析，公司年营业额已经超过1亿美元。另一大数据服务商Teradata，公司2011年第1季度的营收比2010年同期增长了18%。在其总裁兼首席执行官看来，大数据需求市场的强劲表现，是营收增长的重要原因。
传统IT巨头也纷纷围攻抢食大数据盛宴。IBM凭借在硬件与软件方面的优势，提供端到端、整体的大数据解决方案。此外，在数据存储、分析等领域有着传统优势的厂商，如惠普、甲骨文等公司，在大数据领域也有着明显的优势。2011年10月，甲骨文发布了新版NoSQL数据库企业版，这是运行于Hadoop之上的大数据软件之一。除了花大力气开发自有技术，更多的企业希望通过合作与并购的方式来迅速弥补技术链条上的不足。微软宣布与Hortonwork公司建立新的合作伙伴关系，后者致力于Hadoop开发。为了增强非传统数据分析的能力，Teradata收购了Aster Data公司。照此情形来看，一些提供单一技术方案的IT公司，很可能难逃被收购的命运。
对于国内市场，国金证券分析师易欢欢表示，在电信、金融等重要行业，现在最大的投资建设就是数据中心的相应扩容，这几年还停留在储存部分信息阶段，未形成对海量信息的检索、分析、识别以及对未来业务的预测，提升的空间相当大。对地理信息系统进行相关研究的超图软件（300036）以及拥有非结构化数据的相应处理业务的拓而思（300229）以技术手段创新为依托，都已经开始向自己擅长的大数据方向衍生。用友软件（600588）则凭借IT系统重构的机会有望在大数据浪潮中分得一杯羹。对于电商来说，大数据不仅能助其准确决策，为企业自身业务提供支撑，如果拆分出来，也可以作为独立收入来源。淘宝第一个成熟的商业数据产品“数据魔方”计划将于2012年开放数据给第三方应用，届时有望成为淘宝另一项收入来源。
携手云计算
根据IDC的报告，未来十年全球大数据将增加50倍。仅在2011年，就有1.8万亿GB的大数据创建产生，相当于每位美国人每分钟写3条Tweet，而且还是不停地写2.6976万年。海量的数据需要足够空间来存储，大数据为云计算大规模与分布式的计算能力提供了应用的空间。
最近一年多来，谷歌、Facebook、Rackspace等公司纷纷投建新一代数据中心，大部分都采用更高效、节能、定制化的云服务器。根据IDC预测，80%的商业企业应用程序将被部署在云平台中。Gartner则预计到2016年底，1000家全球大型企业中将有半数以上会把与客户相关的敏感数据存储在公共云中。这对于一些空置的云计算数据中心无疑是一大利好。IBM中国开发中心信息管理部大数据开发部门经理王洪远更预测，大数据会引发数据仓库、数据挖掘、商业智能、云计算等应用的连锁反应。IBM 中国开发中心首席技术官（CTO）毛新生表示，电信、银行、保险等行业都特别希望利用互联网搜集海量信息，与原来交易系统中的数据结合起来，分析用户行为，过去做这些比较麻烦，现在云计算可以将上百万台机器转化成一台超大型计算机，使企业获得新的竞争力。
虽然炙手可热，但大数据时代的到来，对企业来说也存在着一些风险，包括企业网络和计算机系统是否跟得上海量数据的处理、数据能否及时更新、是否会丢失核心信息、如何处理格式繁杂的各种数据等。IDC预测，要充分发挥“大数据”额外的竞争优势，需要“大管道”和超高速的网络连接，这将使得网络的作用比以往更为关键。