大数据与集群智能分析

来源 :大东方 | 被引量 : 0次 | 上传用户:qq547761894
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘 要:群体智能(Swarm Intelligence)是一种在自然界生物群体所表现出的智能现象启发下提出的智能模式。基于当前大数据蓬勃发展的现实环境,本文在介绍群体智能模型的基础上,对大数据和集群智能两者间关系进行了进一步梳理,即集群智能是进行大数据分析的一个重要技术手段。
  关键词:大数据;群体智能
  1引言
  人们在很早的时候就对自然界中存在的群集行为感兴趣, 如大雁在飞行时自动排成人字形, 蝙蝠在洞穴中快速飞行却可以互不碰撞等。对于这些现象的一种解释是, 群体中的每个个体都遵守一定的行为准则, 当它们按照这些准则相互作用时就会表现出上述的复杂行为。基于这一思想,Craig Reynolds 在1986 年提出一个仿真生物群体行为的模型BOID[1]。一个显著的标志是1999 年由牛津大学出版社出版的E Bonabeau 和M Dorigo 等人编写的一本专著《群体智能:从自然到人工系统》(“Swarm Intelligence :From Natural to Artificial System”),他认为简单智能体(agent)涌现出来的集体智能[ 2]。
  2群体智能遵循的原则
  Millonas M M 在1994 年提出群体智能应该遵循五条基本原则[3],一是邻近原则(Proximity Principle), 群体能够进行简单的空间和时间计算。计算可以理解为群体根据环境刺激所作出的行为反应,通常是为了最大化群体行为的效用。二是品质原则(Quality Principle), 群体能够响应环境中的品质因子,例如食物质量和居所安全性。三是多样性反应原则(Principle of Diverse Response),群体不应将自身资源限制在很小的范围内,而是应该广泛分布以应对环境的剧烈变化。四是稳定性原则(Stability Principle), 群体不应在每次环境变化时都改变自身的行为,因为改变需要消耗能量,而且未必有正收益。五是适应性原则(Adaptability Principle), 在值得投入能量改变行为时,群体能够在适当的时候改变自身的行为。
  3大数据与群体智能
  3.1传统数据分析中存在的问题
  传统算法存在局限性。一是大规模问题,在日常的工作和生活中,人们对数据的收集越来越多,数据被储存在不同领域的管理系统中,成爆炸式增长。 二是高维问题,在高维空间中,数据集存在数据分布稀疏、噪声水平提高、属性维度高等特点,当维数达到一定高度时,传统意义上的数据距离和区域密度将会变得没有意义,数据集上的距离差将会逐渐缩小,甚至出现“距离趋零现象”。三是多目标问题,在应用于金融、工业、生产管理等相关领域时,往往有多个需要优化的目标。对于多目标优化问题,各个优化目标之间可能存在矛盾和制约,因此要寻找一组优先级别最高的解集来达到各目标之间的平衡。 四是动态问题。传统的数据挖掘技术只是针对静态的数据进行分析处理,而不能很好的动态的掌握信息的发展,动态数据挖掘是综合现在和未来于一体的知识提取过程。
  3.2大数据挖掘的瓶颈
  数据挖掘技术的发展存在一定的瓶颈。一是数据产生的速度和数量、应用的规模和范围在不断地扩大,因此产生了庞大的大规模数据集,原来的一些数据挖掘方法不能在短时间内挖掘到有用的信息、挖掘信息的质量下降甚至无法执行;二是数据挖掘研究对象的特征维数越来越高,产生了大量的具有冗余特征和噪声特征的高维小样本数据,直接进行数据挖掘容易造成维数灾难;三是在数据挖掘的过程中,现有的挖掘方法大多缺乏指导和控制的交互性;四是对各类算法和模型还没有形成正确的评估体系,难以对数据挖掘的实际项目起到指导作用。五是数据的复杂性。这种复杂性并不止源于数据的本身,更多体现在多源异构、多空间和多实体的交互动态性,难以用传统的方法从大量动态甚至无法辨识的数据中提取出有用的信息。
  3.3集群智能在大数据挖掘瓶颈技术的突破
  一是数据的某一个维度是对样本点某一方面特性的描述,在高维数据情况下,许多算法(比如聚类模型)失效。但局部敏感散列算法的应用能帮助寻找到高纬度空间的最近临界点。二是在大数据涉及的数据挖掘多目标优化问题中,粒子群算法和蚂蚁算法使用较多。比如利用小生境技术,同时在算法的运行过程中加入了精英集策略,提出了一种改进的多目标优化粒子群算法,这种改进方法有效地提高了算法的运行效率。三是数据的动态变化问题。大数据使用中,Web使用数据、实时交通信息。而集群智能方法已经被广泛应用于静态和动态优化问题中迭代策略的改进蚁群算法,从而改善了基本蚁群算法在动态优化中的性能。
  3.4大数据与集群智能之间关系
  经过我们查阅资料和小组成员之间进行讨论,我们得出了大数据和集群智能之间的关系: 大数据是柴,获取数据背后的价值是砍柴,而数据挖掘中对集群智能的使用则是砍柴刀。因此,两者间本质上上是目标和工具的关系。
  参考文献:
  [1] Eberhart, Russell C. Swarm intelligence =[M]. 人民邮电出版社,2009.
  [2] Dorigo M, Stützle T. The Ant Colony Optimization Metaheuristic: Algorithms, Applications, and Advances[M]// Handbook of Metaheuristics. Springer US, 2003:250-285.
  [3]Millonas M M, Dykman M I. Transport and current reversal in stochastically driven ratchets[J]. Physics Letters A, 1994, 185(1): 65-69.
  (作者单位:长沙民政职业技术学院)
其他文献
摘 要:介绍单相全波可控整流电路,设计其主电路及控制电路,简述晶闸管的触发过程,叙述其工作原理。  关键词:单相全波可控整流电路;主电路;控制电路;晶闸管;工作原理  整流电路是电力电子电路中出现最早的一种,它的作用是将交流电能变为直流电能供给直流用电设备。整流电路的应用十分广泛,例如直流电动机,电镀、电解电源,同步发电机励磁,通信系统电源等。  1系统介绍  单相全波可控整流电路是一种实用的单相
期刊
摘 要:英语学习过程中常出现“除了……”这类英文表达,如:along with,apart from, as well as,aside from, barring, beyond,but,in addition to,less than, other than,outside, than等。尽管汉语语义易于掌握,但在英语阅读翻译过程中,上面这些英文单词、短语各有其语义极容易混淆。本文通过其在肯定
期刊
摘 要:在课改全面推行的今天,作为进行德育教育的主阵地——品德与生活课凸现出了举足轻重的作用。品德与生活是一门理论与实践、知与行紧密结合的学科,笔者旨在新课程理念的指导下,在传承以往品德课教法的基础上创新品德与生活教学方法,即从开放性导入,开放性教学内容,开放性教学过程,开放性评价机制四方面着手,创设开放式教学环境,给学生一个自主学习的空间,让学生在大自然中实践,在生活中学习,同时还要积极争取家长
期刊
摘 要:本文介绍了使得机电系统平稳运行的几个可行的方法,并对系统平稳性的保证措施进行了分析。  关键词:机电;系统;平稳  当使用按钮、开关、继电器接触器触点作为PLC输入信号时,会不可避免产生抖动,引起系统误动作。在这种情况下,可采用定时器延时方法来去掉抖动,定时时间根据触点抖动情况和系统要求的响应速度而定,这样可保证触点确实稳定闭合(或断开)后才执行特定的处理任务。  对于模拟信号可采用多种软
期刊
摘 要:电力系统是我国经济发展的保障性系统,具有动力供应的作用。而电网在整个电力系统中有着重要的应用,一方面,利用电网可以实现电力生产和消费的连接,另一方面,通过变电网可以实现电力调节,进而促进电力针对性的应用。现阶段,随着网络、信息、计算机等技术在电力系统中的广泛应用,电力智能化和自动化的水平越来越高,配电网的运行效率也有了明显提升。但是从社会应用来看,因为现阶段的电力供应依然处于紧张的状态,所
期刊
摘 要:在现代社会中,在线监测成为各行业必备科技,而电力系统在线监测备受关注。量价费损作为一种电力在线监测系统具有诸多优势。本文重点就“量价费损”在线监测中异常数据的有效处理进行分析,以期更好地规范电力运作。  关键词:量价费损;在线检测;异常数据;处理分析  1电力系统“量价费损”的背景价值及含义解读  随着经济的发展,我国电力系统也备受考验。生产生活用电量的增加,人们对电力系统稳定性需求的提升
期刊
摘 要:随着电厂自动化的不断发展,电气自动控制柜内电器元件的应用越来越广泛。如果设计考虑缺乏全面,将可能导致电气设备运行时控制回路电压出现异常,使继电器的动作和返回受到影响,从而造成设备故障。本文以电气控制柜拒动为例,就实际运行电压和理论运行电压两者差异明显情况下,控制回路所受的影响进行探讨,并提出可行的解决措施,以供参考。  关键词:电压;继电器;控制回路;隔离变压器  就目前而言,火电建设工程
期刊
摘 要:建筑能耗比例正在逐年增长所以当下之急就是要及时进行建筑节能设计。具体建筑设计操作环节,会出现一定的环境污染状况和能源消耗状况,建筑技能环保意识有待提升,应正视绿色建筑理念和重视可持续发展的重要性,通过不断完善与整改来提升建筑设计节能效率和质量,促进生态城市优化与创建。  关键词:建筑设计;节能;思考  1建筑节能设计重要性要点分析  我们通常所说的节能设计主要是指在特定情况进行建筑物本体使
期刊
摘 要:本文介绍了保障PLC系统稳定运行的实现方法,并给出了为保证PLC系统的可靠性时应当采用的设计方法。  关键词:PLC;稳定;设计;可靠  一、PLC系统运行的环境条件  1.适当的环境温度  通常PLC工作环境温度约在0~55℃。因此,在安装PLC时,四周要有足够的通风散空间;不要把PLC安装在阳光直接照射或距离暖气、加湿器、大功率电源等发热器件很近的场所;安装PLC的控制柜要有通风的百叶
期刊
摘 要:电力关乎国计民生,在电力市场改革不断深入的今天,做好负荷预测更为迫切。而负荷预测也对预测速度与精确度提出了更高要求。本文在系统论述负荷预测分类及常见模型的基础上,重点就电力负荷预测的方法进行总结,在明确其优劣势的基础上系统分析电力市场环境下对电力负荷预测的新要求,以期对负荷预测研究起到一定指导。  关键词:电力市场;电力环境;负荷预测;研究分析  1负荷预测的含义及意义  伴随社会的不断发
期刊