论文部分内容阅读
【摘要】在写这篇文章之前,我们发现身边很多IT人对于这些热门的新技术趋之若鹜却又很难说的明白清楚,如果问他大数据和你有什么关系?估计很少能说出一二三来。究其原因,一是因为大家对新技术有着相同的渴望,至少知其然在聊天时不会显得很无知;二是在工作和生活环境中真正能参与实践大数据的案例实在太少了,所以大家没有必要花时间去知其所以然。
【关键词】大数据 结构
一、大数据的结构
首先,大数据就是互联网发展到现今阶段的一种表象而已,我们认为应该正确对待它,在以云计算为代表的技术创新大幕的衬托下,这些原本很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。
其次,想要系统的认知大数据,必须要全面而细致的分解它,下面着重从三个层面来展开:
第一层面是技术,技术是大数据价值体现的手段和前进的基石。我们将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。
第二层面是理论,理论是认知的必经途径,也是被广泛认同和传播的基线。从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;从对大数据的现在和未来去洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。
第三层面是实践,实践是大数据的最终价值体现。互联网的大数据,政府的大数据,企业的大数据和个人的大数据等各方面都可以来描绘大数据已经展现的美好景象及即将实现的蓝图。
二、和大数据相关的理论
1.特征定义
最早提出大数据时代到来的是麦肯锡:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”
业界(IBM 最早定义)将大数据的特征归纳为4个“V”(量Volume,多样Variety,价值Value,速Velocity),或者说特点有四个层面:第一,数据体量巨大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T);第二,数据类型繁多。比如,网络日志、视频、图片、地理位置信息等等。第三,价值密度低,商业价值高。第四,处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。
那么,什么是大数据思维?阿里巴巴的王坚对于大数据有一些独特的见解,比如:
“今天的数据不是大,真正有意思的是数据变得在线了,这个恰恰是互联网的特点。”
“非互联网时期的产品,功能一定是它的价值,今天互联网的产品,数据一定是它的价值。”
“你千万不要想着拿数据去改进一个业务,这不是大数据。你一定是去做了一件以前做不了的事情。”
特别是最后一点,我是非常认同的,大数据的真正价值在于创造,在于填补无数个还未实现过的空白。
有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。
2、价值探讨
大数据是什么?投资者眼里是金光闪闪的两个字:资产。比如,Facebook上市时,评估机构评定的有效资产中大部分都是其社交网站上的数据。
如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
如果,我们通过采集驾驶员手机的GPS数据,就可以分析出当前哪些道路正在堵车,并可以及时发布道路交通提醒;通过采集汽车的GPS位置數据,就可以分析城市的哪些区域停车较多,这也代表该区域有着较为活跃的人群,这些分析数据适合卖给广告投放商。
突然想起有人说,这东西是不是好复杂,是不是要英语、数学好好?其实,也许掌握专业的数据分析管理能力的确挺难的,比如数据的采集、分析等,但作为一种方法,大数据重在启发决策者的思路。毕竟,消息掌握得比较多的情况下,才有更大的可能作出正确的决策。
其实,所谓的大数据,只是一种商业数据分析管理的方法。它既不像某些培训机构说得那么神,也没必要谈虎色变。一句话,了解了解总是好的...
坦白讲,邓小平说科学技术是第一生产力。可是从生产技术转化为生产力还是要一段时间的,所以,现在想直接靠大数据转化为生产力的人,可能有点心急了。不过,面对大的趋势,了解了解总没有坏处。
参考文献:
1 林树泽.数据库信息系统物理设计优化研究[D] .天津大学.2012年.
2 刘俊.基于大数据流的Multi-Agent系统模型研究[J] .计算机技术与发展.2007年.
3 林昕&李心科.一种OLAP海量数据载入技术的研究[J] .计算机技术与发展.2008年.
【关键词】大数据 结构
一、大数据的结构
首先,大数据就是互联网发展到现今阶段的一种表象而已,我们认为应该正确对待它,在以云计算为代表的技术创新大幕的衬托下,这些原本很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。
其次,想要系统的认知大数据,必须要全面而细致的分解它,下面着重从三个层面来展开:
第一层面是技术,技术是大数据价值体现的手段和前进的基石。我们将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。
第二层面是理论,理论是认知的必经途径,也是被广泛认同和传播的基线。从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;从对大数据的现在和未来去洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。
第三层面是实践,实践是大数据的最终价值体现。互联网的大数据,政府的大数据,企业的大数据和个人的大数据等各方面都可以来描绘大数据已经展现的美好景象及即将实现的蓝图。
二、和大数据相关的理论
1.特征定义
最早提出大数据时代到来的是麦肯锡:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”
业界(IBM 最早定义)将大数据的特征归纳为4个“V”(量Volume,多样Variety,价值Value,速Velocity),或者说特点有四个层面:第一,数据体量巨大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T);第二,数据类型繁多。比如,网络日志、视频、图片、地理位置信息等等。第三,价值密度低,商业价值高。第四,处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。
那么,什么是大数据思维?阿里巴巴的王坚对于大数据有一些独特的见解,比如:
“今天的数据不是大,真正有意思的是数据变得在线了,这个恰恰是互联网的特点。”
“非互联网时期的产品,功能一定是它的价值,今天互联网的产品,数据一定是它的价值。”
“你千万不要想着拿数据去改进一个业务,这不是大数据。你一定是去做了一件以前做不了的事情。”
特别是最后一点,我是非常认同的,大数据的真正价值在于创造,在于填补无数个还未实现过的空白。
有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。
2、价值探讨
大数据是什么?投资者眼里是金光闪闪的两个字:资产。比如,Facebook上市时,评估机构评定的有效资产中大部分都是其社交网站上的数据。
如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
如果,我们通过采集驾驶员手机的GPS数据,就可以分析出当前哪些道路正在堵车,并可以及时发布道路交通提醒;通过采集汽车的GPS位置數据,就可以分析城市的哪些区域停车较多,这也代表该区域有着较为活跃的人群,这些分析数据适合卖给广告投放商。
突然想起有人说,这东西是不是好复杂,是不是要英语、数学好好?其实,也许掌握专业的数据分析管理能力的确挺难的,比如数据的采集、分析等,但作为一种方法,大数据重在启发决策者的思路。毕竟,消息掌握得比较多的情况下,才有更大的可能作出正确的决策。
其实,所谓的大数据,只是一种商业数据分析管理的方法。它既不像某些培训机构说得那么神,也没必要谈虎色变。一句话,了解了解总是好的...
坦白讲,邓小平说科学技术是第一生产力。可是从生产技术转化为生产力还是要一段时间的,所以,现在想直接靠大数据转化为生产力的人,可能有点心急了。不过,面对大的趋势,了解了解总没有坏处。
参考文献:
1 林树泽.数据库信息系统物理设计优化研究[D] .天津大学.2012年.
2 刘俊.基于大数据流的Multi-Agent系统模型研究[J] .计算机技术与发展.2007年.
3 林昕&李心科.一种OLAP海量数据载入技术的研究[J] .计算机技术与发展.2008年.