论文部分内容阅读
【摘要】大数据越来越多的被应用于我们的生活中,大数据是人们获得新的认知,创造新的价值的源泉;大数据还是改变市场、组织机构,以及政府与公民关系的方法。如今,一个大规模生产、分享和应用数据的时代正在开启。
【关键词】大数据 云计算 思维方式
维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》,被评为·迄今为止全世界最好的一本大数据专著。维克托·迈尔-舍恩伯格,大数据时代的预言家,大数据商业应用第一人,他认为:大数据是人们获得新的认知,创造新的价值的源泉;大数据还是改变市场、组织机构,以及政府与公民关系的方法。大数据的核心就是预测。这个核心代表着我们分析信息时的三个转变。第一个转变就是,在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样。第二个改变就是,研究数据如此之多,以至于我们不再热衷于追求精确度。第三个转变因前两个转变而促成,即我们不再热衷于寻找因果关系。
一、什么是大数据
大数据,又称巨量资料,指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
二、大数据的特点
数据量大、数据种类多、 要求实时性强、数据所蕴藏的价值大。在各行各业均存在大数据,但是众多的信息和咨询是纷繁复杂的,我们需要搜索、处理、分析、归纳、总结其深层次的规律。
三、大数据的采集。
科学技术及互联网的发展,推动着大数据时代的来临,各行各业每天都在产生数量巨大的数据碎片,数据计量单位已从从Byte、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB来衡量。大数据时代数据的采集也不再是技术问题,只是面对如此众多的数据,我们怎样才能找到其内在规律。
四、大数据的挖掘和处理。
大数据必然无法用人脑来推算、估测,或者用单台的计算机进行处理,必须采用分布式计算架构,依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术,因此,大数据的挖掘和处理必须用到云技术。
大数据正把我们变成新的物种。首先,大数据改变了我们的思维方式,让我们从因果关系的串联思维变成了相关关系的并联思维。第二,大数据改变了我们的生产方式,物质产品的生产退居次位,信息产品的加工将成为主要的生产活动。三,大数据改变了我们的生活方式。我们的精神世界和物质世界都将构建在大数据之上。大数据不仅仅是一门技术,更是一种全新的商业模式,它与云计算共同构成了下一代经济的生态系统。一切皆信息。
在教育特别是在学校教育中,数据成为教学改进最为显著的指标。通常,这些数据主要是指考试成绩。当然,也可以包括入学率、出勤率、辍学率、升学率等。对于具体的课堂教学来说,数据应该是能说明教学效果的,比如学生识字的准确率、作业的正确率、多方面发展的表现率——积极参与课堂科学的举手次数,回答问题的次数、时长与正确率,师生互动的频率与时长。进一步具体来说,例如每个学生回答一个问题所用的时间是多长,不同学生在同一问题上所用时长的区别有多大,整体回答的正确率是多少,这些具体的数据经过专门的收集、分类、整理、统计、分析就成为大数据。
近年来,随着大数据成为互联网信息技术行业的流行词汇,教育逐渐被认为是大数据可以大有作为的一个重要应用领域,有人大胆地预测大数据将给教育带来革命性的变化。
大数据技术允许分析学生的学习行为、考试分数到职业规划等所有重要的信息。许多这样的数据已经被诸如美国国家教育统计中心之类的政府机构储存起来用于统计和分析。
而近年来越来越多的网络在线教育和大规模开放式网络课程横空出世,也使教育领域中的大数据获得了更为广阔的应用空间。专家指出,大数据将掀起新的教育革命,比如革新学生的学习、教师的教学、教育政策制定的方式与方法。
教育领域中的大数据分析最终目的是为了改善学生的学习成绩。成绩优异的学生对学校、对社会、以及对国家来说都是好事。学生的作业和考试中有一系列重要的信息往往被我们常规的研究所忽视。而通过分析大数据,我们就能发现这些重要信息,并利用它们为改善学生的成绩提供个性化的服务。与此同时,它还能改善学生期末考试的成绩、平时的出勤率、辍学率、升学率等。
需要特别注意的是,如何收集数据对于它们未来的使用性非常重要。接收数据汇入背后的挑战是从一开始就要标准化,以便今后对数据进行仔细分析。这样做并不是意味着将未结构化的数据转化为结构化的数据,而是要用直观的方法对接收的数据进行分类。
教育工作者和研究者已经开发出从大数据中提取价值的5种主要的技术。
1.预测(Prediction)——觉知预料中的事实的可能性。例如,要具备知道一个学生在什么情况下尽管事实上有能力但却有意回答错误的能力。
2.聚类(Clustering)——发现自然集中起来的数据点。这对于把有相同学习兴趣的学生分在一组很有用。
3.相关性挖掘(Relationship Mining)——发现各种变量之间的关系,并对其进行解码以便今后使用它们。这对探知学生在寻求帮助后是否能够正确回答问题的可靠性很有帮助。
4.升华人的判断(Distillation for human judgment)——建立可视的机器学习的模式。
5.用模式进行发现(Discovery with models)——使用通过大数据分析开发出的模式进行“元学习”(meta-study)。
实施这些技术就能够通过大数据来创建为提高学生成绩提供支持的学习分析系统。研究者们相信这些技术将帮助教育工作者更加有效地指导学生朝着更加个性化的学习进程迈进。
总而言之,通过大数据进行学习分析能够为每一位学生都创设一个量身定做的学习环境和个性化的课程,还能创建一个早期预警系统以便发现开除和辍学等潜在的风险,为学生的多年学习提供一个富有挑战性而非逐渐厌倦的学习计划。因此,有识之士经预言未来的学习将是大数据驱动的新时代。我们应该积极迎接这个新时代,通过大数据来分析学习,进一步改善教学的方式与方法,进一步促进学生学习成绩的提高。
【关键词】大数据 云计算 思维方式
维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》,被评为·迄今为止全世界最好的一本大数据专著。维克托·迈尔-舍恩伯格,大数据时代的预言家,大数据商业应用第一人,他认为:大数据是人们获得新的认知,创造新的价值的源泉;大数据还是改变市场、组织机构,以及政府与公民关系的方法。大数据的核心就是预测。这个核心代表着我们分析信息时的三个转变。第一个转变就是,在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样。第二个改变就是,研究数据如此之多,以至于我们不再热衷于追求精确度。第三个转变因前两个转变而促成,即我们不再热衷于寻找因果关系。
一、什么是大数据
大数据,又称巨量资料,指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
二、大数据的特点
数据量大、数据种类多、 要求实时性强、数据所蕴藏的价值大。在各行各业均存在大数据,但是众多的信息和咨询是纷繁复杂的,我们需要搜索、处理、分析、归纳、总结其深层次的规律。
三、大数据的采集。
科学技术及互联网的发展,推动着大数据时代的来临,各行各业每天都在产生数量巨大的数据碎片,数据计量单位已从从Byte、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB来衡量。大数据时代数据的采集也不再是技术问题,只是面对如此众多的数据,我们怎样才能找到其内在规律。
四、大数据的挖掘和处理。
大数据必然无法用人脑来推算、估测,或者用单台的计算机进行处理,必须采用分布式计算架构,依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术,因此,大数据的挖掘和处理必须用到云技术。
大数据正把我们变成新的物种。首先,大数据改变了我们的思维方式,让我们从因果关系的串联思维变成了相关关系的并联思维。第二,大数据改变了我们的生产方式,物质产品的生产退居次位,信息产品的加工将成为主要的生产活动。三,大数据改变了我们的生活方式。我们的精神世界和物质世界都将构建在大数据之上。大数据不仅仅是一门技术,更是一种全新的商业模式,它与云计算共同构成了下一代经济的生态系统。一切皆信息。
在教育特别是在学校教育中,数据成为教学改进最为显著的指标。通常,这些数据主要是指考试成绩。当然,也可以包括入学率、出勤率、辍学率、升学率等。对于具体的课堂教学来说,数据应该是能说明教学效果的,比如学生识字的准确率、作业的正确率、多方面发展的表现率——积极参与课堂科学的举手次数,回答问题的次数、时长与正确率,师生互动的频率与时长。进一步具体来说,例如每个学生回答一个问题所用的时间是多长,不同学生在同一问题上所用时长的区别有多大,整体回答的正确率是多少,这些具体的数据经过专门的收集、分类、整理、统计、分析就成为大数据。
近年来,随着大数据成为互联网信息技术行业的流行词汇,教育逐渐被认为是大数据可以大有作为的一个重要应用领域,有人大胆地预测大数据将给教育带来革命性的变化。
大数据技术允许分析学生的学习行为、考试分数到职业规划等所有重要的信息。许多这样的数据已经被诸如美国国家教育统计中心之类的政府机构储存起来用于统计和分析。
而近年来越来越多的网络在线教育和大规模开放式网络课程横空出世,也使教育领域中的大数据获得了更为广阔的应用空间。专家指出,大数据将掀起新的教育革命,比如革新学生的学习、教师的教学、教育政策制定的方式与方法。
教育领域中的大数据分析最终目的是为了改善学生的学习成绩。成绩优异的学生对学校、对社会、以及对国家来说都是好事。学生的作业和考试中有一系列重要的信息往往被我们常规的研究所忽视。而通过分析大数据,我们就能发现这些重要信息,并利用它们为改善学生的成绩提供个性化的服务。与此同时,它还能改善学生期末考试的成绩、平时的出勤率、辍学率、升学率等。
需要特别注意的是,如何收集数据对于它们未来的使用性非常重要。接收数据汇入背后的挑战是从一开始就要标准化,以便今后对数据进行仔细分析。这样做并不是意味着将未结构化的数据转化为结构化的数据,而是要用直观的方法对接收的数据进行分类。
教育工作者和研究者已经开发出从大数据中提取价值的5种主要的技术。
1.预测(Prediction)——觉知预料中的事实的可能性。例如,要具备知道一个学生在什么情况下尽管事实上有能力但却有意回答错误的能力。
2.聚类(Clustering)——发现自然集中起来的数据点。这对于把有相同学习兴趣的学生分在一组很有用。
3.相关性挖掘(Relationship Mining)——发现各种变量之间的关系,并对其进行解码以便今后使用它们。这对探知学生在寻求帮助后是否能够正确回答问题的可靠性很有帮助。
4.升华人的判断(Distillation for human judgment)——建立可视的机器学习的模式。
5.用模式进行发现(Discovery with models)——使用通过大数据分析开发出的模式进行“元学习”(meta-study)。
实施这些技术就能够通过大数据来创建为提高学生成绩提供支持的学习分析系统。研究者们相信这些技术将帮助教育工作者更加有效地指导学生朝着更加个性化的学习进程迈进。
总而言之,通过大数据进行学习分析能够为每一位学生都创设一个量身定做的学习环境和个性化的课程,还能创建一个早期预警系统以便发现开除和辍学等潜在的风险,为学生的多年学习提供一个富有挑战性而非逐渐厌倦的学习计划。因此,有识之士经预言未来的学习将是大数据驱动的新时代。我们应该积极迎接这个新时代,通过大数据来分析学习,进一步改善教学的方式与方法,进一步促进学生学习成绩的提高。