论文部分内容阅读
面对农产品高价—扩种—降价—减产—再涨价的循环波动，应对方式不同。
中国农业部2011年底成立市场预警专家委员会，首批确定10名委员，建立沟通交流机制，职责之一是密切关注国内外农产品市场运行情况，及时提出政策建议。
美国意外天气保险公司利用美国气象局和农业部公开的气象、产量、土壤等数据，租用大数据分析平台，预测不同品种农作物的来年产量，为农户提供价格保险产品，2011年底获得超过5000万美元的风险投资。
农产品价格的循环波动客观存在，影响因素包括农资价格、劳动力成本、需求数量、政府政策、资本运作、自然灾害和汇率期货等诸多方面，描述这些因素的信息资源构成了影响农产品价格的大数据。这些大数据来源于生产交易的“泥土”，反映在资源网络的“云端”，善于利用，价值巨大。
“大数据”从英语“Big Data”翻译而来，维基百科将其定义为“无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合”。数量庞大、种类复杂、增速迅猛是“大数据”的明显特征，以往所说的“信息爆炸”、“海量数据”等已不足以描述数据对于日常活动乃至国计民生的重要价值。“大数据”得到信息科技企业的重视，IBM公司在2012年3月发布的年报中明确指出该公司的核心竞争力在于“gusher of data”（汹涌而出的数据），其新任CEO表明将依靠大数据分析取得今后5年业务发展的动力。“大数据”甚至上升为国家意志，也在2012年3月，美国奥巴马政府公布了“大数据研发计划”，首批投资2亿美元，目标是改进人们从海量和复杂的数据中获取知识的能力。“大数据”蕴含的潜力，可见一斑。
大数据的生命力在于持续积累
随着信息科技的发展，无处不在的智能终端、随时在线的网络传输、互动频繁的社交网络使得大量的新数据无时无刻不在涌现。任何事物的发展都有一个过程，会不断释放有关事物发展过程和结果的事实，相关数据的持续积累蕴含勃勃生机，有望使掌握数据的一方在事态发展中争取主动。
1997年，一台名叫“深蓝”的计算机击败了当时的国际象棋冠军Garry Kasparov。2011年，另一台计算机Watson在美国电视智力竞赛节目《Jeopardy！》再次战胜前几届的冠军。诞生于传统数据时代的深蓝，通过将象棋规则转化为以0和1形式存在的算法，借助并行处理技术，计算可能的走棋结果，通过扫描数据库将结构化的查询和答案相匹配。而在大数据相关技术帮助下，Watson能够“读取”包括百科全书、报刊、书籍等大量人类知识载体，实时智能分析，回答以人类说话方式提出的不可预测的问题，速度和准确性都超过参与竞赛的人类对手。这两则事例诠释了传统数据与大数据时代下计算机生命力的精彩延续，而其背后是数据的持续积累，非一朝一夕之功。
咨询机构麦肯锡公司2011年5月发布报告《大数据：创新、竞争和生产力的新前沿》认为，当前大数据规模以及其存储容量正在迅速增长，大数据已经渗透到各个行业和业务职能领域，成为可以与物质资产和人力资本相提并论的重要生产要素，大数据的演进将与生产力的提高有直接关系。
大数据的创造力在于发现“关系”
如同显微镜的发明使得人们以前所未有的细胞级水平观看和测量事物，引擎搜索、网页点击、论坛发帖等数据记录使得人们的行为和情绪能够被衡量，来源广泛、表现形式多样的数据之间存在复杂关系，发现其中的“关系”使得判断和决策以数据和分析为基础，而非经验和直觉。
2008年2月，谷歌公司通过对美国大西洋沿岸中部地区网民关于“流感症状”关键词搜索结果的统计分析，推断出该地区关注感染流感的人数比较多，有爆发流感的趋势，这一分析结果比美国政府公布的时间早两周。2008年11月，谷歌公司推出了“流感趋势”免费网络服务，帮助美国境内的人们了解自己所在地区的流感病例爆发情况，提前采取措施，避免感染。美国疾控中心表示，谷歌“流感趋势”服务可以对其现有的疾控监测起到很好的补充作用。可以看出，大数据的持续积累使得量化统计分析“关系”成为可能，从而爆发出鉴别真伪、分析原理、研判趋势、预警潜在的机会和威胁及快速响应突发事件等系列行为，大数据的创造力得到彰显。
基于大数据，应用科学的研究方法，才能提高发现“关系”的客观性。本文引子中提到的农产品价格波动的应对事例，一个是基于专家的经验和判断，定性地识别出价格与影响因素的“关系”；另一个是基于计算机的数据聚类和文本挖掘等方法，定量地识别出价格与影响因素的“关系”。有效利用大数据分析的“关系”，将促进新想法和新见解的产生，甚至带来行业的关键发现。
大数据的破坏力在于威胁信息安全
我国目前的信息安全法规定义在“计算机系统”，而大数据弥漫在计算机、手机、监视器以及所有电子设备上，连接所有人体、生物体和物体，大数据时代没有“可以锁起来”的信息安全，竞争可能从“谁能锁得紧、藏得牢”跃迁为“谁能用得好、用得快”。而透露个人行为、情绪等隐私的大数据，成为威胁社会稳定和信息安全的极大隐患。
与此同时，越来越多的公司、机构等组织需要访问第三方数据来源，并将自己信息与外部信息进行集成以充分获取大数据的潜力。而在目前情况下，市场尚未建立交易或共享数据的成熟机制，尤其对于缺乏竞争强度和绩效透明的公共行业以及利润高度集中的产业，数据获取的障碍客观存在，解决价值挖掘与信息安全之间的矛盾值得密切关注。
而由信息安全衍生出来一系列问题：数据可以轻松复制带来的知识产权问题，不准确数据导致负面结果的责任问题，优化数据使用的工作流构建问题，相关的数据人才短缺问题等等，有待破解。
无论是否察觉，形形色色的泥土和云端里的大数据切切实实地存在身边，大数据时代已经来临。你，准备好了吗？
中国农业部2011年底成立市场预警专家委员会，首批确定10名委员，建立沟通交流机制，职责之一是密切关注国内外农产品市场运行情况，及时提出政策建议。
美国意外天气保险公司利用美国气象局和农业部公开的气象、产量、土壤等数据，租用大数据分析平台，预测不同品种农作物的来年产量，为农户提供价格保险产品，2011年底获得超过5000万美元的风险投资。
农产品价格的循环波动客观存在，影响因素包括农资价格、劳动力成本、需求数量、政府政策、资本运作、自然灾害和汇率期货等诸多方面，描述这些因素的信息资源构成了影响农产品价格的大数据。这些大数据来源于生产交易的“泥土”，反映在资源网络的“云端”，善于利用，价值巨大。
“大数据”从英语“Big Data”翻译而来，维基百科将其定义为“无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合”。数量庞大、种类复杂、增速迅猛是“大数据”的明显特征，以往所说的“信息爆炸”、“海量数据”等已不足以描述数据对于日常活动乃至国计民生的重要价值。“大数据”得到信息科技企业的重视，IBM公司在2012年3月发布的年报中明确指出该公司的核心竞争力在于“gusher of data”（汹涌而出的数据），其新任CEO表明将依靠大数据分析取得今后5年业务发展的动力。“大数据”甚至上升为国家意志，也在2012年3月，美国奥巴马政府公布了“大数据研发计划”，首批投资2亿美元，目标是改进人们从海量和复杂的数据中获取知识的能力。“大数据”蕴含的潜力，可见一斑。
大数据的生命力在于持续积累
随着信息科技的发展，无处不在的智能终端、随时在线的网络传输、互动频繁的社交网络使得大量的新数据无时无刻不在涌现。任何事物的发展都有一个过程，会不断释放有关事物发展过程和结果的事实，相关数据的持续积累蕴含勃勃生机，有望使掌握数据的一方在事态发展中争取主动。
1997年，一台名叫“深蓝”的计算机击败了当时的国际象棋冠军Garry Kasparov。2011年，另一台计算机Watson在美国电视智力竞赛节目《Jeopardy！》再次战胜前几届的冠军。诞生于传统数据时代的深蓝，通过将象棋规则转化为以0和1形式存在的算法，借助并行处理技术，计算可能的走棋结果，通过扫描数据库将结构化的查询和答案相匹配。而在大数据相关技术帮助下，Watson能够“读取”包括百科全书、报刊、书籍等大量人类知识载体，实时智能分析，回答以人类说话方式提出的不可预测的问题，速度和准确性都超过参与竞赛的人类对手。这两则事例诠释了传统数据与大数据时代下计算机生命力的精彩延续，而其背后是数据的持续积累，非一朝一夕之功。
咨询机构麦肯锡公司2011年5月发布报告《大数据：创新、竞争和生产力的新前沿》认为，当前大数据规模以及其存储容量正在迅速增长，大数据已经渗透到各个行业和业务职能领域，成为可以与物质资产和人力资本相提并论的重要生产要素，大数据的演进将与生产力的提高有直接关系。
大数据的创造力在于发现“关系”
如同显微镜的发明使得人们以前所未有的细胞级水平观看和测量事物，引擎搜索、网页点击、论坛发帖等数据记录使得人们的行为和情绪能够被衡量，来源广泛、表现形式多样的数据之间存在复杂关系，发现其中的“关系”使得判断和决策以数据和分析为基础，而非经验和直觉。
2008年2月，谷歌公司通过对美国大西洋沿岸中部地区网民关于“流感症状”关键词搜索结果的统计分析，推断出该地区关注感染流感的人数比较多，有爆发流感的趋势，这一分析结果比美国政府公布的时间早两周。2008年11月，谷歌公司推出了“流感趋势”免费网络服务，帮助美国境内的人们了解自己所在地区的流感病例爆发情况，提前采取措施，避免感染。美国疾控中心表示，谷歌“流感趋势”服务可以对其现有的疾控监测起到很好的补充作用。可以看出，大数据的持续积累使得量化统计分析“关系”成为可能，从而爆发出鉴别真伪、分析原理、研判趋势、预警潜在的机会和威胁及快速响应突发事件等系列行为，大数据的创造力得到彰显。
基于大数据，应用科学的研究方法，才能提高发现“关系”的客观性。本文引子中提到的农产品价格波动的应对事例，一个是基于专家的经验和判断，定性地识别出价格与影响因素的“关系”；另一个是基于计算机的数据聚类和文本挖掘等方法，定量地识别出价格与影响因素的“关系”。有效利用大数据分析的“关系”，将促进新想法和新见解的产生，甚至带来行业的关键发现。
大数据的破坏力在于威胁信息安全
我国目前的信息安全法规定义在“计算机系统”，而大数据弥漫在计算机、手机、监视器以及所有电子设备上，连接所有人体、生物体和物体，大数据时代没有“可以锁起来”的信息安全，竞争可能从“谁能锁得紧、藏得牢”跃迁为“谁能用得好、用得快”。而透露个人行为、情绪等隐私的大数据，成为威胁社会稳定和信息安全的极大隐患。
与此同时，越来越多的公司、机构等组织需要访问第三方数据来源，并将自己信息与外部信息进行集成以充分获取大数据的潜力。而在目前情况下，市场尚未建立交易或共享数据的成熟机制，尤其对于缺乏竞争强度和绩效透明的公共行业以及利润高度集中的产业，数据获取的障碍客观存在，解决价值挖掘与信息安全之间的矛盾值得密切关注。
而由信息安全衍生出来一系列问题：数据可以轻松复制带来的知识产权问题，不准确数据导致负面结果的责任问题，优化数据使用的工作流构建问题，相关的数据人才短缺问题等等，有待破解。
无论是否察觉，形形色色的泥土和云端里的大数据切切实实地存在身边，大数据时代已经来临。你，准备好了吗？