论文部分内容阅读
摘 要：在大数据时代，数据应用的价值逐渐受到了人们的重视，通过大数据技术的发展，在高校教学资源中应发挥了重要的作用。建设大数据技术实验室可以实现更多的功能，使教学需求得到满足，同时提升了实验室的水平。
关键词：大数据技术;实验室;建设;管理
引言
随着科技的快速发展，数据量也大幅度增长，在这种趋势下，大数据技术得到了进一步发展，各个高校在开展教学的同时，也对大数据技术人才培养采取了有效的措施，通过大数据技术的有效应用，可以为教学提供更多的资源。但是由于高校中缺少完善的实验基地，难以满足实际的需求，应通过大数据技术对实验室进行改善，提升实验室的建设水平，使实验室能够在高校中发挥出更好的作用。
1大数据技术概述
1.1 大数据技术的基本含义
大数据作为一种信息化特点的资源，具有较多的应用价值，数据的获得有着真实性特点，难以通过其他的方式模拟出来，需要使用设备来获取。大数据技术能够对数据进行收集和处理，使数据得到全面的分析，并且能够进行大量的数据处理。大数据本身具有复杂性的特点，在处理的过程中对技术有着较高的要求。大数据技术的内涵是通过对数据中包含的特点进行分析来建立相应的模型，并且通过模型的分析和预测来实现数据的应用。在这个阶段之中，对不同行业进行预测评价，结合情况提出建议，使行业能够顺利的发展。目前的大数据技术在发展中包括计算分析以及数据存储两方面内容，同时在应用中也体现了良好的效果。
1.2高校大数据技术实验室建设的重要性
大数据技术在现代社会中属于一种的新技术，高校发展过程中对这项技术非常重视，在技术应用中通过建立实验室来创造更好的科研发展平台，使高校的资源更加的完善，进一步的提升了高校的技术设施水平。建立实验室可以为教师和学生带来更多的资源，帮助他们完成教学和学习任务，并且提升实践能力，使大数据技术的发展中有更加完整的基础条件，同时促进了我国高校的人才培养发展，为大数据技术的改善带来有效的帮助，对技术的整体发展有着重要的作用。
2大数据技术实验室建设和管理
2.1大数据技术实验室硬件设施和软件设施的建设
大数据技术实验室的建设应符合实际的需要，在建设中按照相关的规定进行，结合大数据技术的支持，采油有效的方式对大数据实验室进行完善，使其能够在应用中发挥出有效的作用。在当前的发展趋势下，大数据技术实验室中的设施中有存储和数据计算中心、终端、可视化模块。大数据技术的数据处理计算功能作为重要的内容，其中包括了计算资源、虚拟技术和存储等功能，一般使用的设施包括IBM和HP等。在大数据技术应用中需要通过软件部署的支持，其中的软件设施有存储模型管理系统，在建设实验室的时候，应结合其他国家的大数据技术实验室建设内容进行参考，使实验室的建设能够更加的有效，同时也能够发挥出大数据技术的有效作用，为高校的资源带来更加丰富的内容，这样可以全面的提升高校的发展水平和技术设施质量。
2.2大数据技术实验室的框架建设
大数据实验室需要配套设施包括：HADOOP 平台、数据库 MENDB、分布式数据仓库 MPP、分布式文件系统 HDFS、分布式计算引擎 MAPREDUCE、LINUX 集群、分布式数据库HBASE。具体目标是建设基于云计算、分布式计算、融合计算，配备高性能计算设备、高速网络、大容量存储设备、满足大数据应用软件性能的需求大数据技术实验室由硬件与软件设施整合而成的，其中包括应用层、云平台和虚拟资源层、基础设施层。在应用层中为教学实验的实训管理，云平台中为提供服务和维护管理的内容，虚拟资源层中为计算资源管理，针对使用者进行管理，有使用者的申请以及生产环境等方面的管理，还可以为使用者带来相应的系统镜像服务，将计算资源进行有效的分配。基础设施层为服务器和其他设备内容，能够为用户的VM管理提供相应的条件，在基础设施中对服务器进行维护处理，使整体能够协调的运行，满足使用者的实际需求，达到相应的水平。
2.3大数据技术实验室管理结构的建设
大数据技术实验室的建设平台中应具备知识资源库平台以及协同开发服务平台、协同开发桌面云平台。应建立知识资源库平台，将源码库完善好，使平台具有相应的构件，能够发挥出有效的作用，還需要建设开发计划和素材等，使平台的结构更加完善，同时保证了项目的效率。此外，在高校中，为了实现更好的教学目标，应建设所需要的知识资源案例，使项目的案例内容更加的详细，还包括文档撰写的示范等内容的案例。在协同开发服务平台中，应将项目的设计以及软件说明内容等都导入到平台，使平台能够具有相应的数据信息，在其中说明内容应以注册初始化的文档形式进行导入，保证说明书的有效信号。开发桌面平台建设中需要将桌面计算机中的CPU和硬盘、计算资源等进行部署，再将物理资源信息进行虚拟转化处理，结合使用者的要求，对使用者提供相应的虚拟桌面服务，使用者能够在实际的应用中得到更加全面高效的服务。
2.4 Spark技术大数据实验室的建设
Spark大数据实验室的建设作为其中一种内容，这种实验室在实际的产生中将Open Stack平台作为基础，这种技术能够起到虚拟机管理的功能，在应用中可以建立虚拟机，将其挂起或者重启等，通过对虚拟机的控制发挥作用。在这种实验室中，一般为集群平台，包括至少六台的虚拟机，其中工作节点中包括4台虚拟机装置，其与还有一台为主节点、一台为主备份节点，这些虚拟机装置在其中形成了服务器集群，使实验室的服务器集群能够达到要求。可以适当的添加hadoop2.X配置，使部署的结构和Spark中的结构达到相同的要求，同时作为Spark on yarn模式环境，使集群能够在运行中提供不同的模式，发挥了有效的作用，提供了相应的功能。在这种基础上，Spark大数据实验室中包含了轻配置的特点同时易于进行扩展，还可以实现资源需求，使实验室整体能够符合高校教学的要求，在实际使用中带来良好的条件，并且使教学中的实践活动顺利的实现。
2.5大数据教学资源平台建设
在大数据实验室中，为了使实验人员能够更好的掌握运用大数据专业技术，具有相应的时间能力，对大数据分析和应用有更加全面的了解，使人员对数据的分析以及收集、使用等相关原理进一步明确，并且能够对系统进行研究开发。需要具有相应的知识基础，包括数据分析。挖掘、编程、机器学习等内容，将自身的能力提升，对大数据技术有更多的认识，并且在实验室的模拟环境中，对实际的问题进行解决，采用自己所掌握的知识将技术完善，提升技术市场的竞争力水平。
结语
大数据技术作为社会发展的重要内容，在社会各个行业发展中具有重要的意义，通过大数据技术的应用，可以为行业带来更好的技术条件。在高校的教学中，使用大数据技术建立实验室，使教学中的资源更加的丰富，并且满足当前教学的发展要求。在大数据实验室建设管理中，应合理的完善技术内容，使实验室的建设能够发挥良好的作用。
参考文献：
[1]都娟，李纳.基于应用型高校的大数据实验室建设探究[J].时代农机，2018，（10）：158.
[2]哈里白.浅谈大数据技术在高职实验室的应用[J].科教导刊-电子版（下旬），2018，（9）：134.
[3]秦乐乐，黄涛，刘畅.基于物联网技术的高校智慧实验室架构[J].河北工业科技，2018，35（6）：400-405.
[4]蔡宇.基于应用型高校的大数据实验室建设研究[J].电脑知识与技术，2018，14（17）：1-2.
关键词：大数据技术;实验室;建设;管理
引言
随着科技的快速发展，数据量也大幅度增长，在这种趋势下，大数据技术得到了进一步发展，各个高校在开展教学的同时，也对大数据技术人才培养采取了有效的措施，通过大数据技术的有效应用，可以为教学提供更多的资源。但是由于高校中缺少完善的实验基地，难以满足实际的需求，应通过大数据技术对实验室进行改善，提升实验室的建设水平，使实验室能够在高校中发挥出更好的作用。
1大数据技术概述
1.1 大数据技术的基本含义
大数据作为一种信息化特点的资源，具有较多的应用价值，数据的获得有着真实性特点，难以通过其他的方式模拟出来，需要使用设备来获取。大数据技术能够对数据进行收集和处理，使数据得到全面的分析，并且能够进行大量的数据处理。大数据本身具有复杂性的特点，在处理的过程中对技术有着较高的要求。大数据技术的内涵是通过对数据中包含的特点进行分析来建立相应的模型，并且通过模型的分析和预测来实现数据的应用。在这个阶段之中，对不同行业进行预测评价，结合情况提出建议，使行业能够顺利的发展。目前的大数据技术在发展中包括计算分析以及数据存储两方面内容，同时在应用中也体现了良好的效果。
1.2高校大数据技术实验室建设的重要性
大数据技术在现代社会中属于一种的新技术，高校发展过程中对这项技术非常重视，在技术应用中通过建立实验室来创造更好的科研发展平台，使高校的资源更加的完善，进一步的提升了高校的技术设施水平。建立实验室可以为教师和学生带来更多的资源，帮助他们完成教学和学习任务，并且提升实践能力，使大数据技术的发展中有更加完整的基础条件，同时促进了我国高校的人才培养发展，为大数据技术的改善带来有效的帮助，对技术的整体发展有着重要的作用。
2大数据技术实验室建设和管理
2.1大数据技术实验室硬件设施和软件设施的建设
大数据技术实验室的建设应符合实际的需要，在建设中按照相关的规定进行，结合大数据技术的支持，采油有效的方式对大数据实验室进行完善，使其能够在应用中发挥出有效的作用。在当前的发展趋势下，大数据技术实验室中的设施中有存储和数据计算中心、终端、可视化模块。大数据技术的数据处理计算功能作为重要的内容，其中包括了计算资源、虚拟技术和存储等功能，一般使用的设施包括IBM和HP等。在大数据技术应用中需要通过软件部署的支持，其中的软件设施有存储模型管理系统，在建设实验室的时候，应结合其他国家的大数据技术实验室建设内容进行参考，使实验室的建设能够更加的有效，同时也能够发挥出大数据技术的有效作用，为高校的资源带来更加丰富的内容，这样可以全面的提升高校的发展水平和技术设施质量。
2.2大数据技术实验室的框架建设
大数据实验室需要配套设施包括：HADOOP 平台、数据库 MENDB、分布式数据仓库 MPP、分布式文件系统 HDFS、分布式计算引擎 MAPREDUCE、LINUX 集群、分布式数据库HBASE。具体目标是建设基于云计算、分布式计算、融合计算，配备高性能计算设备、高速网络、大容量存储设备、满足大数据应用软件性能的需求大数据技术实验室由硬件与软件设施整合而成的，其中包括应用层、云平台和虚拟资源层、基础设施层。在应用层中为教学实验的实训管理，云平台中为提供服务和维护管理的内容，虚拟资源层中为计算资源管理，针对使用者进行管理，有使用者的申请以及生产环境等方面的管理，还可以为使用者带来相应的系统镜像服务，将计算资源进行有效的分配。基础设施层为服务器和其他设备内容，能够为用户的VM管理提供相应的条件，在基础设施中对服务器进行维护处理，使整体能够协调的运行，满足使用者的实际需求，达到相应的水平。
2.3大数据技术实验室管理结构的建设
大数据技术实验室的建设平台中应具备知识资源库平台以及协同开发服务平台、协同开发桌面云平台。应建立知识资源库平台，将源码库完善好，使平台具有相应的构件，能够发挥出有效的作用，還需要建设开发计划和素材等，使平台的结构更加完善，同时保证了项目的效率。此外，在高校中，为了实现更好的教学目标，应建设所需要的知识资源案例，使项目的案例内容更加的详细，还包括文档撰写的示范等内容的案例。在协同开发服务平台中，应将项目的设计以及软件说明内容等都导入到平台，使平台能够具有相应的数据信息，在其中说明内容应以注册初始化的文档形式进行导入，保证说明书的有效信号。开发桌面平台建设中需要将桌面计算机中的CPU和硬盘、计算资源等进行部署，再将物理资源信息进行虚拟转化处理，结合使用者的要求，对使用者提供相应的虚拟桌面服务，使用者能够在实际的应用中得到更加全面高效的服务。
2.4 Spark技术大数据实验室的建设
Spark大数据实验室的建设作为其中一种内容，这种实验室在实际的产生中将Open Stack平台作为基础，这种技术能够起到虚拟机管理的功能，在应用中可以建立虚拟机，将其挂起或者重启等，通过对虚拟机的控制发挥作用。在这种实验室中，一般为集群平台，包括至少六台的虚拟机，其中工作节点中包括4台虚拟机装置，其与还有一台为主节点、一台为主备份节点，这些虚拟机装置在其中形成了服务器集群，使实验室的服务器集群能够达到要求。可以适当的添加hadoop2.X配置，使部署的结构和Spark中的结构达到相同的要求，同时作为Spark on yarn模式环境，使集群能够在运行中提供不同的模式，发挥了有效的作用，提供了相应的功能。在这种基础上，Spark大数据实验室中包含了轻配置的特点同时易于进行扩展，还可以实现资源需求，使实验室整体能够符合高校教学的要求，在实际使用中带来良好的条件，并且使教学中的实践活动顺利的实现。
2.5大数据教学资源平台建设
在大数据实验室中，为了使实验人员能够更好的掌握运用大数据专业技术，具有相应的时间能力，对大数据分析和应用有更加全面的了解，使人员对数据的分析以及收集、使用等相关原理进一步明确，并且能够对系统进行研究开发。需要具有相应的知识基础，包括数据分析。挖掘、编程、机器学习等内容，将自身的能力提升，对大数据技术有更多的认识，并且在实验室的模拟环境中，对实际的问题进行解决，采用自己所掌握的知识将技术完善，提升技术市场的竞争力水平。
结语
大数据技术作为社会发展的重要内容，在社会各个行业发展中具有重要的意义，通过大数据技术的应用，可以为行业带来更好的技术条件。在高校的教学中，使用大数据技术建立实验室，使教学中的资源更加的丰富，并且满足当前教学的发展要求。在大数据实验室建设管理中，应合理的完善技术内容，使实验室的建设能够发挥良好的作用。
参考文献：
[1]都娟，李纳.基于应用型高校的大数据实验室建设探究[J].时代农机，2018，（10）：158.
[2]哈里白.浅谈大数据技术在高职实验室的应用[J].科教导刊-电子版（下旬），2018，（9）：134.
[3]秦乐乐，黄涛，刘畅.基于物联网技术的高校智慧实验室架构[J].河北工业科技，2018，35（6）：400-405.
[4]蔡宇.基于应用型高校的大数据实验室建设研究[J].电脑知识与技术，2018，14（17）：1-2.