论文部分内容阅读
摘 要:技术集成创新是物联网发展的基础,因此当前物联网区域内的研究基本上集中在技术集成以及具体应用上。同时,由于数据采集是物联网运行的第一步,因此与处理相比,人们更加热衷于采集的研究,而数据的采集就涉及到了云计算。本文主要对物联网及其中的云计算模式进行概述,研究了物联网与数据挖掘云服务。
关键词:物联网 数据挖掘 云服务 研究
世界信息技术经过计算机革命、互联网革命之后,进入了第三次革命时期,即物联网革命。物联网自出现以后就被广泛应用,它极大的方便了人们的生活,促进了社会经济的快速发展。当前我国很多行业对物联网都有较高需求,对数据挖掘云服务进行深入研究并推广该项技术的应用已经成为一种必然趋势。
一、物联网及其中的云计算模式
物联网是在互联网的基础上发展起来的,是互联网技术的延伸与拓展。它是一种网络概念,是指通过感应器、识别器对物品进行感应、识别,通过扫面器对物品进行扫描,通过定位系统对物品进行定位,最终实现任何物品与物品之间的智能化信息交换。物联网的出现与发展使人们寻求到了对所有物品控制、管理、经营一体化的新思路。物联网中的计算模式主要是云计算,是对资源进行整合以及分享,计算资源具有以下几个特征:一是动态性特征,计算过程中是可以自由伸缩的,二是虚拟化的特征。云计算中面临的计算任务是非常复杂的,需要采用分布式构架对物联网中的数据进行采集并处理。由于云计算模式在运行过程中将重点放在数据挖掘和处理上,因此对宽带有较高要求,同时必须集中计算能力。
二、物联网与数据挖掘云服务
1.数据挖掘的重要作用。物联网的最大特征就是可以实现物与物之间的信息互通,在传感器的作用下实现物物连接,然后依次经过云存储和云计算,最终完成云服务。其在应用的过程中具有行业性的特征,需要对不同行业、不同格式的数据进行挖掘、整理、整合和集中管理,并做出相关预测和决策,反过来根据决策对传感网络进行控制,发挥这些数据的价值。通过以上分析我们可以看出,数据挖掘是物联网运作过程中非常关键的一个环节,它已经不再是简单的发现数据,而物联网发挥作用的基础,如果缺少这个環节,物物之间的信息互通就无法实现。
2.数据挖掘的算法与选择。
2.1算法特征。分布式是物联网的主要特征,这一特征直接决定了数据挖掘的选择。一是高效算法,最大的特征就是并行化程度较高,算法不太复杂;二是分布式算法,当数据垂直划分时,适合选择这种算法;三是并行算法,数据水平划分时适合选择这种算法;四是保护隐私算法,数据挖掘的过程中,一定要注意隐私的保护。
2.2分布式数据挖掘的优点和缺点。数据挖掘环节需要考虑到很多问题,一是要考虑到商业竞争,二是考虑法律约束,三是要考虑挖掘过程中的安全性,因此,将所有数据进行集中分析是不现实的。分布式数据挖掘就可以解决以上问题,挖掘过程中会对数据进行划分,系统会对这些模块中挖掘到的数据并行处理,然后将这些数据整合、统一输出。这种方式可以有效提高计算能力,节约时间和空间。但是从实际应用经验来看,这种方式在使用过程中也存在一些问题:一是算法方面的问题,选择算法时需要考虑数据预处理问题;二是系统方面的问题,需要进一步研究如何减少通讯开销以及平衡节点间负载问题。
2.3分布式与并行数据挖掘的不同。二者的不同主要体现在以下几方面:一是应用目标,前者主要目标有两个,一是实现场地自治,二是实现数据透明共享。后者则是处理机节点,主要目标是提高系统的整体性能;二是实现方式,前者在连接节点时依赖局域网,网络宽带不高,点和点之间需要花费大量通信开销。后者在连接节点时则使用高速网络,不需要付出过多的通信开销;三是节点地位,前者各个节点不仅可以完成全局事务,同时可以实现局部应用,自治性较高,因此不同算法之间的并行一般采用这种方式。后者在处理数据时,需要各个节点之间协同运作,独立性较差,因此不能进行局部应用。
3.数据挖掘云服务技术研究。
3.1要求。首先是基础建设要求,按照域和行业逐步进行,要求专业技术人员提供云服务;其次是虚拟化要求,可以根据实际需要对计算资源进行灵活分配;第三是需求方面的要求,就是要满足人们对云服务多样化、个性化的需求;第四的可信度要求,就是算法不仅要通用,同时要可查可见;最后是安全性要求,对于一部分隐私数据而言,用户可以终端自己完成挖掘和应用,并进行加密保护,避免数据泄露。
3.2云服务平台的构建。云服务平台的构建分为四部分,一是终端,用户可以在这些终端上进行数据挖掘相关操作;二是Web交互平台,用于连接系统和终端用户;三是数据挖掘系统,主要是对数据进行收集、整合与综合管理;四是硬件资源管理系统,就相当于数据库,是数据的最终来源。该平台构建起来以后,用户就可以根据自己的需要获取数据,整个平台对用户是透明的,资源抽象成提供数据挖掘服务的“云”。
三、结语
物联网的研究和应用都离不开云计算,可以说后者是前者的基石。物联网运行过程中有一个最关键的环节就是数据挖掘,只有采用智能挖掘和处理技术,才能将物联网的价值真正体现出来。本文主要分析了数据挖掘技术以及云计算相关技术,研究了数据挖掘云服务平台的构建。
参考文献:
[1]张毅,崔晓燕.基于云计算平台的物联网数据挖掘研究[J].软件,2014,13(15)01:108-111.
[2]李立,张玉州.一种改进的基于云平台的物联网数据挖掘算法[J].安庆师范学院学报(自然科学版),2014,12(14)02:37-40.
[3]陈达峰.基于云计算的物联网数据挖掘关键技术研究[J].中国新技术新产品,2014,11(13)23:20.
关键词:物联网 数据挖掘 云服务 研究
世界信息技术经过计算机革命、互联网革命之后,进入了第三次革命时期,即物联网革命。物联网自出现以后就被广泛应用,它极大的方便了人们的生活,促进了社会经济的快速发展。当前我国很多行业对物联网都有较高需求,对数据挖掘云服务进行深入研究并推广该项技术的应用已经成为一种必然趋势。
一、物联网及其中的云计算模式
物联网是在互联网的基础上发展起来的,是互联网技术的延伸与拓展。它是一种网络概念,是指通过感应器、识别器对物品进行感应、识别,通过扫面器对物品进行扫描,通过定位系统对物品进行定位,最终实现任何物品与物品之间的智能化信息交换。物联网的出现与发展使人们寻求到了对所有物品控制、管理、经营一体化的新思路。物联网中的计算模式主要是云计算,是对资源进行整合以及分享,计算资源具有以下几个特征:一是动态性特征,计算过程中是可以自由伸缩的,二是虚拟化的特征。云计算中面临的计算任务是非常复杂的,需要采用分布式构架对物联网中的数据进行采集并处理。由于云计算模式在运行过程中将重点放在数据挖掘和处理上,因此对宽带有较高要求,同时必须集中计算能力。
二、物联网与数据挖掘云服务
1.数据挖掘的重要作用。物联网的最大特征就是可以实现物与物之间的信息互通,在传感器的作用下实现物物连接,然后依次经过云存储和云计算,最终完成云服务。其在应用的过程中具有行业性的特征,需要对不同行业、不同格式的数据进行挖掘、整理、整合和集中管理,并做出相关预测和决策,反过来根据决策对传感网络进行控制,发挥这些数据的价值。通过以上分析我们可以看出,数据挖掘是物联网运作过程中非常关键的一个环节,它已经不再是简单的发现数据,而物联网发挥作用的基础,如果缺少这个環节,物物之间的信息互通就无法实现。
2.数据挖掘的算法与选择。
2.1算法特征。分布式是物联网的主要特征,这一特征直接决定了数据挖掘的选择。一是高效算法,最大的特征就是并行化程度较高,算法不太复杂;二是分布式算法,当数据垂直划分时,适合选择这种算法;三是并行算法,数据水平划分时适合选择这种算法;四是保护隐私算法,数据挖掘的过程中,一定要注意隐私的保护。
2.2分布式数据挖掘的优点和缺点。数据挖掘环节需要考虑到很多问题,一是要考虑到商业竞争,二是考虑法律约束,三是要考虑挖掘过程中的安全性,因此,将所有数据进行集中分析是不现实的。分布式数据挖掘就可以解决以上问题,挖掘过程中会对数据进行划分,系统会对这些模块中挖掘到的数据并行处理,然后将这些数据整合、统一输出。这种方式可以有效提高计算能力,节约时间和空间。但是从实际应用经验来看,这种方式在使用过程中也存在一些问题:一是算法方面的问题,选择算法时需要考虑数据预处理问题;二是系统方面的问题,需要进一步研究如何减少通讯开销以及平衡节点间负载问题。
2.3分布式与并行数据挖掘的不同。二者的不同主要体现在以下几方面:一是应用目标,前者主要目标有两个,一是实现场地自治,二是实现数据透明共享。后者则是处理机节点,主要目标是提高系统的整体性能;二是实现方式,前者在连接节点时依赖局域网,网络宽带不高,点和点之间需要花费大量通信开销。后者在连接节点时则使用高速网络,不需要付出过多的通信开销;三是节点地位,前者各个节点不仅可以完成全局事务,同时可以实现局部应用,自治性较高,因此不同算法之间的并行一般采用这种方式。后者在处理数据时,需要各个节点之间协同运作,独立性较差,因此不能进行局部应用。
3.数据挖掘云服务技术研究。
3.1要求。首先是基础建设要求,按照域和行业逐步进行,要求专业技术人员提供云服务;其次是虚拟化要求,可以根据实际需要对计算资源进行灵活分配;第三是需求方面的要求,就是要满足人们对云服务多样化、个性化的需求;第四的可信度要求,就是算法不仅要通用,同时要可查可见;最后是安全性要求,对于一部分隐私数据而言,用户可以终端自己完成挖掘和应用,并进行加密保护,避免数据泄露。
3.2云服务平台的构建。云服务平台的构建分为四部分,一是终端,用户可以在这些终端上进行数据挖掘相关操作;二是Web交互平台,用于连接系统和终端用户;三是数据挖掘系统,主要是对数据进行收集、整合与综合管理;四是硬件资源管理系统,就相当于数据库,是数据的最终来源。该平台构建起来以后,用户就可以根据自己的需要获取数据,整个平台对用户是透明的,资源抽象成提供数据挖掘服务的“云”。
三、结语
物联网的研究和应用都离不开云计算,可以说后者是前者的基石。物联网运行过程中有一个最关键的环节就是数据挖掘,只有采用智能挖掘和处理技术,才能将物联网的价值真正体现出来。本文主要分析了数据挖掘技术以及云计算相关技术,研究了数据挖掘云服务平台的构建。
参考文献:
[1]张毅,崔晓燕.基于云计算平台的物联网数据挖掘研究[J].软件,2014,13(15)01:108-111.
[2]李立,张玉州.一种改进的基于云平台的物联网数据挖掘算法[J].安庆师范学院学报(自然科学版),2014,12(14)02:37-40.
[3]陈达峰.基于云计算的物联网数据挖掘关键技术研究[J].中国新技术新产品,2014,11(13)23:20.