大数据时代下数据挖掘技术的应用分析

来源 :新生代·下半月 | 被引量 : 0次 | 上传用户:passkakaxi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  【摘要】:大数据时代是信息社会高度发达的的阶段,随着云技术、互联网等高科技技术的快速发展,为人们进入大数据时代奠定了坚实的基础。人们已經可以实现对海量的数据信息进行存储以及分析,并将所获取的信息应用到实际生产当中,而在此过程中最重要的就是数据挖掘技术。科学合理的利用数据挖掘技术可以通过对数据信息的挖掘,从中找到有利用价值的信息资源,从而为各个领域的发展提供相应的参考。本文首先将对数据挖掘技术进行简单阐述;其次主要分析当前数据挖掘技术的主要方法,并具体阐述数据挖掘技术在各个领域的应用;最后简单谈谈数据的安全和保密。
  【关键词】:大数据时代 数据挖掘技术 概述 方法 应用 数据安全
  在各个领域的发展过程中,信息资源是最为重要的生产管理因素之一,可以为各领域的发展提供有效的参考和依据。云技术以及互联网技术的发展为信息资源的存储和分析提供了坚实有力的技术基础,因此,各行业想要获得更大的发展,就需要注重对隐藏的数据进行深入挖掘,将其进行有效整合,从中获取有效的信息。在此过程中,数据挖掘技术就显的尤为重要,科学合理的运用数据挖掘技术可以实现对数据信息的最大化利用,利用对数据信息挖掘分析的结果来指导行业的发展。与此同时,也要注重数据信息的安全和保密,完善各项数据保密技术,有效保护各项数据信息。
  1.数据挖掘技术概述
  数据挖掘技术顾名思义就是对数据信息的深入挖掘,寻找其中有价值的数据信息,具体来讲就是利用统计学、云技术、大数据技术以及人工智能技术等高科技技术,在庞大的数据库中发掘其中隐藏的数据信息,以此来为相关决策提供支持【1】。之所以被称之为数据挖掘技术,主要是这项技术所要寻找的信息是之前尚未明确的,但是其具有潜在的价值,因此需要在庞大的数据库中进行挖掘。这项技术需要以多项高科技技术为基础,从庞大的数据信息中识别具有价值的信息,从而为决策人员进行决策提供一定的参考和指导,以规避风险,做出合理的判断。
  数据挖掘的基础是需要庞大的数据信息,且数据信息的来源必须真实有效,这样才能在其中发掘出一些之前尚未明确的,且具有相应的利用价值的信息。被挖掘的数据库中的数据可以是多种多样的,包括未识别的数据、随机的数据、缺损数据、不完整数据等,但是数据量必须要大,只有以庞大的数据为基础,才有可能从其中挖掘出有价值的信息。
  数据挖掘技术并不是一项简单的技术,而是多种技术的有机结合,数据挖掘技术可以在挖掘数据的过程中实现对数据的归纳和整理,使这些数据信息得到最大化的利用。数据挖掘技术可以从对数据的简单分析到复杂演绎,从表面深入到隐藏的部分,通过一个极其复杂的过程从原始数据中寻找出具有利用价值的信息。同时其挖掘数据的过程中,其所归纳和整理的数据也可以对其加以利用,譬如信息检索、查询等。
  2.数据挖掘技术的主要方法
  2.1聚类
  聚类的分析方法主要是针对一组数据信息,将其按照数据信息的类别以及其相似度将其分为不同的层级,制定出科学的、覆盖范围广的、详尽的判断模型,使这部分数据信息中,同类别数据具备较高的相似性,不同类别数据具备较低的相似性,以此为决策人员的决策提供参考。这种方法一般在市场营销中使用的比较多,譬如对客户的分类、寻找潜在客户、预测销售状况、分析商品的周期等【2】。
  2.2关联
  关联主要指的是原始数据中各部分数据信息之间所存在的联系或者关系,具体来说就是原始数据中的这部分数据信息很可能与另一部分数据信息之间存在一些隐藏的联系,通过对两部分数据信息的分析可以发现其中隐藏的关联性。例如,当你在维护和客户的关系的时候,就可以在该企业的客户数据源中挖掘有效信息,在大量的关系交流的记录中挖掘有效信息,挖掘有价值的线索,挖掘出不明显的影响市场的关键节点,这对商品价格预判、销售走势、客户类群分辨、销售整体方向的规划等具有重要的参考价值。
  2.3回归分析
  回归分析主要是利用原始数据时间上的分布特征,构建一个可以把数据信息回归到预测变量中的函数关系,然后利用相应的数学理论,分析变量与变量之间的关系。关于回归分析的要点主要有以下几项,一是数据信息之间关系的分析,二是预判走向的分析,三是数据变量的趋势分析。
  2.4分类
  分类的方法主要就是在原始数据中选择一组具有相同特点的数据,依照事先确定的标准对其进行相应的分类,将原始数据中的部分数据信息归入到某种既定的类别中。把数据源中的数据对象联结到某种特殊的类别当中【3】。例如可以把某一组数据对象联结到顾客的分类中,然后对顾客的属性进行分析,对顾客的特点进行分析,做满意度调查、然后评判顾客的购买意向以及购买力.以某一个汽车厂商为例,如果这个汽车厂商把数据源中的顾客依据对汽车的爱好分门别类,这样一线的销售人员便可以把握主动,直接向这类顾客销售相应的产品,投其所好,大大提高了效率。
  2.5变化和偏差分析
  原始数据中存在诸多存在偏差的数据信息,这其中隐藏着一些有利用价值的信息,譬如模式中的反常现象,数据分类当中的反常现象,现实和期望之间的偏差等,对于这些存在偏差的数据信息进行分析,主要是研究现实中的结果和参照物之间的差别。在一些大型企业中,管理人员应该对危机预警系统中的反常现象和信息重点关注,对其进行深入挖掘分析,可以有效帮助管理人员挖掘出潜在的危机,从而提前做出应对,规避风险,降低危机造成的损失。
  2.6特征
  数据源也可以根据特征进行数据分类,从中提取关于这些特征的特征式,这类公式可以提现该数据源的整体特点【4】。例如在一线的销售人员在预防顾客流失的时候就可以先将顾客按照特征进行分类,然后再从中提取出顾客流失特征的特征式,就可以很快分找出造成顾客流失的很多原因以及特征了,然后再从特征中找出主要特征和次要特征,通过对这些顾客流失的特征分析就可以提前预防顾客流失的情况了。   2.7Web网页
  随着互联网技术的飞速发展,网络已经实现了大范围的普及,人们在生活和工作大量的利用网络进行交互,这就使得网络中留存了大量的信息。互联网中的数据包罗万象,包括金融信息、企业信息、人力资源信息以及潜在的用户群体信息等等,通过对互联网数据的挖掘可以找出诸多有利用价值的信息。对于这部分数据挖掘的重点在于预期可能会对企业的发展造成的影响因素,包括内因和外因,或者说是潜在的内因和外因,通过对这些影响因素进行分析,从而指导企业的发展方向,促使管理人员进行科学的决策。
  3.数据挖掘技术的应用
  3.1教育领域
  在教育领域运用数据挖掘及时,可以让老师对学生产生更深入的认识和了解,通过对学生的基础信息、兴趣爱好、各学科的学习状况等数据信息的挖掘分析,可以从中了解到学生优势、不足以及在学习中存在的薄弱环节,便于老师进行针对性的指导和帮助,从而有效提升教学质量和教学效率。此外,数据挖掘技术的运用可以使各项教育资源配置进一步优化,从而更好的开展教学。
  3.2科研领域
  数据挖掘技术在科研领域也有广泛的应用,科研领域所取得的各项科研成果往往依赖于各种实验以及对于实验数据的整理、归纳和分析,找出实验数据所表明的关系或者规律,并对其加以概括和引申。由于一项科研成果的出现往往需要大量的实验,因此就会产生大量的实验数据,如果采用人工对其进行整理、归纳和分析,其难度相对较大,工作量也极大,而利用数据挖掘技术可以很轻易的完成,只要构建相应的数据模型,然后依次对实验数据进行深入分析,可以更高效的找出其中所隐含的信息,从而对科研方向提高相应的参考。
  3.3电信领域
  电信行业在人们的生活和工作中发挥着重要作用,可以让人们便捷的实现交流和沟通,时间和空间上的限制极小。由于电信行业的用户群体极为庞大,各个用户群体之间往往所需要的服务也不尽相同,所以就需要有针对性的为用户提供相应的服务【5】。这就需要通过挖掘用户信息,分析用户的偏好以及所需要的服务类型,从而为用户提供更优质的服务。数据挖掘技术的运用可以使电信企业在对庞大的用户信息的分析中,明确各个用户群体的偏好,有根据的预判其所需要的服务,并有针对性的为用户提供其可能需要的服务,从而提升电信企业的服务水平。在电信领域用户的需求就是潜在的、具有利用价值的信息,企业需要对用户日常的使用习惯进行分析,挖掘用户潜在的需求,并最大程度的满足用户的需求,这样才能使电信企业获得更大的发展。
  3.4市场营销领域
  数据挖掘技术最初就是在市场营销当中所使用的,主要是该领域需要记录庞大的客户信息,并通过对客户信息的挖掘和分析,找出客户的潜在需求,并为其提供相应的产品。同时,还需要为客户推荐其可能感兴趣或者需要的产品,从而达到提升销售业绩的效果【6】。数据挖掘技术在市场营销领域的使用,一定程度上降低了市场营销的难度,同时也最大限度的使客户的需求得到了满足,形成了一种双赢的局面。无论是对于销售人员还是对于客户,双方都达成了各自的目的,各自的需求都得到了极大的满足。
  3.5制造业领域
  近年来,随着人们物质生活水平的不断提升,人们对于市场上提供的各项产品的要求也逐渐变高。对于制造业领域而言,如何根据用户的喜好拉优化自身的产品是一个极为重要的问题。数据挖掘技术在制造业领域的应用,可以用客户的需求信息中发掘客户所需要的产品,或者客户对于产品某一方面的喜好。同时,将这些信息运用到产品的升级和研发当中,从而使产品更加符合客户的需求和喜好,是产品在市场上具备一定的竞争力,从而为企业创造更大的效益。
  4.数据安全
  当前,在大数据的背景下,各个领域对于数据信息的重视和利用都达到了一个前所未有的高度,对于数据信息的发掘和利用一方面促进了各个领域更好的发展,另一方面也最大程度的满足了人们的需求,产生了极高的经济效益和社会效益。但是我们在享受大数据给我们带来便利的同时,也要认识到其中所存在的安全隐患,比如数据安全【7】。数据的泄露会对人们的生活和工作带来极大的影响,尤其是关于个人隐私信息的泄露,不仅侵犯了人们的隐私权,同时对于人们也造成了一些潜在的威胁。
  此外,部分别有用心之人可能通过对数据的分析,得出某些信息,从而进行一些危害社会的活动。譬如,通过对人口健康数据、基因测序数据的挖掘,可以预判国民身体健康走向;通过对移动消费的数据挖掘,可以得出国民消费的金融数据;通过对社会文化的分析可以得出国民的文娱喜好和思想文化偏好,这些分析结果很可能会被不法分子利用,从事某些破坏活动,进而影响到国家和人们的安全。
  部分人员受利益的驱使,从事倒卖信息的活动,目前,甚至已经形成了一个庞大的利益链条,其中尤其是个人隐私信息的倒卖,使得人们已无隐私可言,对人们的生活是极大的威胁。而目前,我国在这方面的法律机制尚不完善,加之网络追责的难度较大,使得这种情况很难得到有效治理【8】。
  因此,我们要以辩证的眼光看待大数据,不仅要积极的利用其优势,从而促进社会各个行业的发展。与此同时,我们也要认识到其中所存在的隐患,并逐步完善相应的保护机制,确保对于数据信息的利用在合理合法的范围之内,从而促进其良性发展。
  结语
  综上所述,数据挖掘技术在各个领域的发展都发挥了极大的作用,不仅促进了各个领域的发展,同时也满足了人们的需求。但是目前我国对于数据挖掘技术的运用还有极大的提升空间,因此,仍要进一步探究数据挖掘技术的价值,使其发挥更大的作用
  【参考文献】
  【1】邵燕, 陈守森, 贾春朴,等. 探究大数据时代的数据挖掘技术及应用[J]. 信息与电脑(理论版), 2016(10):118-119.
  【2】田志民, 梁品超, 任艳红,等. 大数据时代下数据挖掘技术与应用[J]. 当代教育实践与教学研究, 2017(10):10.
  【3】周凌. 浅析大数据时代的数据挖掘技术与应用[J]. 中小企业管理与科技(下旬刊), 2018, (5):194-195.
  【4】刘毅娟, 雷鳴, 何旸,等. 大数据时代数据挖掘技术浅析[J]. 数字技术与应用, 2015(4):222-222.
  【5】唐雅璇, 李丽娟, 吴芬琳. 大数据时代的数据挖掘技术与应用[J]. 电子技术与软件工程, 2017(21):169.
  【6】李翼, 孟莉. 大数据条件下的数据挖掘技术及应用[J]. 电子技术与软件工程, 2017(18):198-198.
  【7】许凡, 孙勤红. 大数据时代的数据挖掘技术探讨[J]. 电子技术与软件工程, 2015(16):208-208.
  【8】肖明. 大数据时代下数据挖掘技术在企业中的应用[J]. 中国管理信息化, 2015, 18(2):58-58.
  作者简介:姓名:卢文亮,性别:男,出生年月: 1989.06.04,民族:汉,籍贯:内蒙古,最高学历:硕士在读 职称: 研究方向:计算机应用技术
其他文献
【摘要】教育均衡发展提倡根据学生的不同学习层次进行不同的教学方法的平等教学法。四年级语文阅读教学主要以识字和写字、理解课文、领悟课文读写规律为培养目的。如何在四语文阅读教学中进行教育均衡发展呢?本文从从识字和写字开始,培养学困生语文阅读教学水平;抓住理解课文的重点,引导中等生的自读自悟能力;抓住课文的精华,指导优秀生的领悟读写规律三个方面进行探讨教育均衡发展在四年级语文阅读教学应用。  【关键词】
期刊
礼仪是“礼”和“仪”这两个词组合起来的,礼是指特定名族,人群或国家基于客观历史传统而形成的道德规范以及与之相适应的规章制度和行为方式。仪主要表现为法度,形式,容貌,风度等。中国向来以“礼仪之邦”著称于世,但当今现实生活中,仍然有一些不文明的现象存在。小孩子作为未来的中流砥柱,有责任有义务把中华优秀的传统文化继承与发扬光大。作为老师,作为家长我们也有责任来引导孩子无论是在家里还是在学校都能自觉的遵规
期刊
游戏是儿童产生高级心理现象的重要源泉,是儿童社会化的重要途径。游戏也是幼儿的天性,是符合学前儿童年龄特点的一种独特的活动形式。在幼儿园里,游戏已被纳入有目的、有计划的教育活动。我们逐渐认识到游戏是幼儿有效的学习段,是幼儿最喜欢的活动,如体育活动对幼儿的教育起着重要的作用。  游戏对幼儿的影响如下:  1.游戏是幼儿的天性游戏乃儿童的天性,这是人们的共同,因此有许多思想家阐述这个哲理  其中,将儿童
期刊
陕西省榆林市府谷县新民中学 府谷 719409  【摘要】我们所说的“折腾”指的是让学生在课堂中身心全面动起来,想方设法让每位同学参与课堂教学,给他们营造动态的学习氛围,只要能让学生的思维总处于活跃状态,积极地探索知识并试图将刚刚获得的知识转化为能力,那就是成功的教学。除此以外,还的让孩子们在课堂中适当的体验失败。在折腾中反复磨练,拥有更加出彩的人生。  【关键词】初中学生特点,“闹腾”途径,完善
期刊
【摘要】英语写作是英语学习的最高阶段。中学生必须在具备一定的词汇积累和语法基础上才能进行英语写作,文中作者就高中英语的写作教学提出四个方面进行训练和引导,以期达到“下笔如有神”的境界。  【关键词】高中英语,写作教学  英语写作是英语学习的最高阶段。中学生必须在具备一定的词汇积累和语法基础上才能进行英语写作,因此英语写作也是对中学生学习英语提出的最高要求,是英语教学中的一项艰巨的任务。近十几年来,
期刊
【摘要】高职类声乐教学必须突出“职业性”特色,不能继续沿袭本科音乐院校的教学模式,应结合本院校的专业定位,探索相应的、合理的改革措施。  【关键词】高职院校,声乐教学改革  近些年来,由于社会的需要和国家的重视,高等职业教育在众多力量的支持下开始迅速发展起来,在发展的同时也发现了高职教育教育机制和教育院校中出现的某些弊端,在发现的问题的基础上,本人结合实际,探索出了一条高职声乐教学的改革之路。  
期刊
案例:  有一天,我批改了这样一篇日记:爸爸经常外出做生意,妈妈下班已经筋疲力尽了,我和妈妈成了西餐厅的常客,服务员对我们母子俩特别热情,还常常为我们打好包,我们好面子,没有把服务员打的包带回家。但是,今天有些例外,妈妈点的菜少了,她还要求我把菜全部吃完,她说要参与“光盘”行动。我正想问这个新名词从哪里来时,她叫我上网查查就知道了。输入“光盘”两字,今天不剩饭,从我做起,我是“光盘”!有一种节约叫
期刊
每一个孩子的成长路,都是一条心理成长、成熟之路,有的孩子心理阳光、开朗大方,对学习、生活充满了乐趣,勇于面对困难;有的孩子厌学、考试焦虑甚至自伤自残;有的孩子对周围的人们充满怨恨,甚至与父母成了“敌人”。怎样才能为孩子心灵的困惑找到答案?怎样才能让关切的父母和老师与敏感的孩子达成心灵的共鸣?怎样才能培养出具有积极向上心理的孩子?《短程心理咨询与督导实录:亲子教育篇》一书做出了有益的尝试。  该书作
期刊
有这样一群孩子,他们还想在父母怀里撒娇时,父母就远离家乡,到遥远的城里谋生糊口。很多时候,他们只能从电话中或者从偶尔寄来的汇款中,才能感觉父母的存在。当别的孩子都在享受花样年华的时候,他们被留在乡下,孤独地像荒草一样生长。人们给这群孩子起了一个酸楚的名字:留守儿童。  都说父母是孩子的第一任老师。但随着越来越多的父母外出打工,抚养孩子的重担就落在了祖辈身上,但他们只能让孩子吃饱穿暖,而缺乏教育、辅
期刊
【摘要】为适应当前社会对综合性卫生人才的特殊需求,这要求卫生教育者把教书与育人相结合,通过对职教育方式的创新,不断培养出“诚实守信、遵纪守法、爱岗敬业、救死扶伤、团结合作、人文关怀”的新型卫生职业技术人才。本文结合所教的《职业生涯规划》、《卫生法律法规》内容,从中等卫生学校学生的特点;树立主体性的德育观和健康积极的人才观;以培养健康积极的心理素质和职业素质为本;对学生的职业道德教育方式的创新性四个
期刊