大数据核心技术发展现状与趋势研究

来源 :当代商报·理论与创新 | 被引量 : 0次 | 上传用户:mkl119
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘要:大数据技术的兴起引领着当今IT领域的发展趋势,是继物联网技术、云计算技术以来IT领域的又一重大技术革命。经济社会的高速发展,随之产生各种各样的信息数据呈指数级增长,如企业经营交易数据、商品流通数据,互联网世界中产生的各种信息、交易、流通信息数据等,人们的社会生活产生大量信息数据,其数量规模已远远超越现有数据处理和承载能力,数据的实时性、有效性要求也极大地超越现有的处理能力。
  关键词:大数据:发展现状:趋势
  在我国即将进入5G信息时代,大数据云计算等前沿信息技术的蓬勃发展和软硬件不断更新换代给海量数据的开发利用打下了坚实的技术基础,大数据应用与开发的核心是体现在对海量数据的掌控和应用能力。
  1大数据核心技术发展现状
  大数据推动了信息技术向前发展并催生了大量新的技术的出现,使大数据在产生收集、传输存储、应用处理和挖掘呈现等各个环节的处理手段。
  1.1大数据采集技术
  大数据采集技术与物联网技术紧密相关的交叉学科,它通過传感器数据、射频数据、互联网交互数据等方式获得的各种类型的海量数据。采集方法包括系统日志采集、网络数据采集、数据库采集方式。在互联网时代下各型各类大数据公司迅速发展状大,获取数据的能力决定了公司的发展前途。是否能够不断地获取最新数据、可供进一步挖掘的数据是决定公司发展命运的重要因素,是公司不断发展状大的源动力。
  1.2大数据预处理技术
  预处理技术是数据挖掘的热门研究方向是指对所收集数据进行处理前所做的比如筛选审核排序等特殊处理过程。原始数据是不完整无规则不一致含噪声的脏数据,为了提高数据的挖掘质量而生产的数据预处理技术孕育而生。数据预处理的主要方法有数据集成以及数据清理,数据变换以及数据归约等方法。这些技术的运用有利于提高数据挖掘的质量和效率。
  1.3大数据存储及管理技术
  大数据存储与管理技术就是建立、使用、管理大数据的数据库。由不同渠道来源的原始数据缺乏完整性、一致性,在处理和存储没有标准而变得更加困难,数据的海量涌现与处理的困难,使得技术和硬件配置必须跟上数据增长的步伐,大数据存储及管理技术就显而易见地非常重要。出现了NoSQL数据库、NewSQL数据库、分布式文件存储等大数据存储和管理数据库系统。
  1.4大数据分析及挖掘技术
  数据分析的目的是对隐藏的数据进行萃取提炼以找出数据的内在联系。常见的分析方法如下:可视化分析。数据可视化工具十分重要、方便它可以方便直接地呈现大数据的特点,可以把杂乱无章的数据变为各种各样的图开模式显现出来,使数据更加简单清晰和直观方便读者理解,预测性分析。预测性分析是大数据分析中最重要的应用领域之一,可以从各种杂乱无章的数据中挖掘出其特点,有利于了解目前状况和采取的措施,改变以往靠猜测到通过预测来进行决策的转变;语义引擎。语义引擎能够让使用者更方便更快捷和更准确更全面地获取所需信息将人们从繁琐的搜索条目中解放出来,是语义技术最直接的应用提高了用户的互联网体验。
  2大数据技术发展趋势
  2.1可视化推动大数据平民化
  可视化方法把复杂的数据转化为可以交互的图形,帮助用户更好地理解分析数据对象。普通民众和非技术专业的用户能够很好地理解大数据及其价值。
  2.2多学科融合与数据科学的兴起
  大数据技术的发展离不开多学科的多技术领域的融合,它融合了数学和统计学信息技术等众多学科众多技术领域,是与多领域产生交叉的新技术学科。这种多学科之间的交叉融合催生了新兴的学科
  数据学科。
  2.3大数据安全与隐私令人忧虑
  当大数据技术系统中聚集了大量价值时,必然会成为被黑客和不法分子攻击的对象,也就是带来了安全问题,部分不良商家泄露个人隐私。此外,大数据的新热点融入大数据多样化处理模式和深度分析推动大数据智能应用及开源、测评、大赛催生良性人才与技术生态都将成为大数据技术的发展趋势。
  3结束语
  信息技术领导日新月异,大数据技术的兴起对各传统领域形成挑战的同时颠覆了人们的观念。各国都不甘落后在大力推动大数据向前发展和应用,抓住大数据发展机遇制定实施大数据发展战略性文件。大数据产业必将推动社会生产要素的网络化、共享集约化整合协作开发和高效利用;必将改变传统的生产方式和经济运行机制,并显著提升经济运行水平和效率。
其他文献
摘要:荣德生不仅是我国近代史上著名的实业家,而且也是一位热衷于经济、教育、农业、市政、旅游、卫生等事业的慈善家。文章旨在从儒学思想、荣德生个人发展历程和国家的历史命运等因素来试着探析荣德生慈善公益思想的来源,并在此基础上分析其思想的形成。  关键词:荣德生:慈善公益思想:儒学  荣德生(1875-1952)名宗铨,字德生,自号乐农,无锡西郊荣巷人,是我国著名的实业家,自1902年起,他与兄长荣宗敬
期刊
摘要:经营业绩考核指标的建立对国有企业的发展起到推动作用,国有企业经营业绩考核指标的建立有效提高了国有企业日常管理效率与国有企业工作人员的工作质量,促进国有企业高效可持续性发展,对国有企业经营管理过程中做到公平、公正、公开具有非常重要的意义。针对国有企业经营发展过程中存在的弊端建立出符合企业发展的考核指标,将业绩考核切实应用于企业发展建设。  关键词:国有企业:考核指标:经营  国有企业在我国经济
期刊
摘要:文章对康德道德哲学三个层次结构进行了简述和解读,即通俗道德哲学、道德形而上学、实践理性批判。然后对其进行价值和现代意义的探析,详细论述康德提出的关于道德法则的概念,认为康德尝试通过对道德法则的三个层次的建构,建立人类所有行为的道德评判标准和最终归属。  关键词:道德哲学:道德法则:康德  1康德道德哲学的三个层次  1.1通俗的道德哲学  从日常混杂的行为中区分“出于义务”和“合乎义务”。在
期刊
摘要:证券市场的发展并非一帆风顺,而要想推进证券市场的健康有序运行,还应当积极将法律作为行动的依据,以此来促进证券市场的法治化进程。基于此,文章首先分析证券投资者在参与证券市场的过程中可能会遇到的欺诈行为,并在此基础上阐述证券投资者维权的法律依据,希望为证券投资者的维权行动提供参考,以便运用法律武器维护自身权益,稳定证券市场的秩序。  关键词:面临上市公司:证券投资者:法律依据  近些年来,随着经
期刊
摘要:BIM为工程造价精细化管理的实现所需依赖的主要技术。文章介绍了BIM技术,阐述了工程造价的目的及其所涉及的内容。基于此,重点以某工程为例,从设计、招投标、施工及竣工四个阶段入手,阐述了BIM技术下工程造价精细化管理的实现方式。通过对该技术应用效果的观察,证实了技术在工程造价中的应用价值。  关键词:BIM技术:工程造价:精细化管理  工程造价为工程施工期间的重点工作,其管理结果,是决定工程经
期刊
摘要:数控加工是一种具有高效率、高精度与高柔性特点的自动化加工方法,可有效解决复杂、精密、小批量多变量零件的加工问题,充分适应现代化生产的需要,在现代化零件加工中发挥着重要作用。基于此,文章结合FANUC数控系统设计的相关理论,着重对其连续高精度加工流程进行研究,以达到零件加工高效率传输、精密化管理的研究目的。  关键词:FANUC数控系统:高精度:数控加工  1FANUC数控设计理论基础  FA
期刊
摘要:煤矿开采本身也就是一项非常复杂而且耗能的系统工作,通过发展绿色开采技术可能促进煤矿开采向可持续方向发展,煤矿开采企业必须重视绿色节能开采技术的应用和研究,以实现煤矿的绿色开采。鉴于此,文章对绿色开采技术在煤矿开采中的应用进行了分析探讨,仅供参考。  关键词:煤矿:绿色开采:地下气化  1煤矿绿色开采技术的必要性  目前主要有两个方面对煤矿开采的长远发展产生影响,一方面是生产成本投入不够健全,
期刊
摘要:资本金融投资的期货风险分析,是现代社会金融资源调整与规划的主要参考数据,具有金融风险调节预测性、金融资产分析全面性等特征,是社会经济资源调节与分析中不可缺失的条件。基于此,文章以玉米期货投入为例,结合garch模型的相关理论,探究garch模型的玉米期货风险分析中的缺陷,以及玉米期货风险模式优化的策略,以达到降低玉米期货运用风险,提升社会资源利用率的目的。  关键词:garch模型:玉米销售
期刊
摘要:随着阅读效率的提高和改进,人们更习惯于阅读横排文本。横排文本的方式与汉字的基本造型从某种意义上说是有着一定的矛盾的。横排汉字行与行的区别不够明显,整篇文本看起来空间过满,不够轻灵。日常有些读者认为英文出版物看起来洋气漂亮,实际是因为英文字母横排构成了一行行的线性构图,其每个字母的笔画并不复杂,都能有效的统一在一行及一整篇文字之中。  关键词:字体:汉字造型:装帧设计:构成  汉字作为中华文化
期刊
摘要:2015年,随着新修订的《食品安全法》颁布出台,食品安全违法问题有望得到遏制。文章首先着重提出了目前我国食品安全领域存在的两个方面问题,即对个人生命健康与社会稳定的影响。最后,结合国际食品安全问题的成功经验,提出相关的解决措施。  关键词:食品安全:问题:对策  食品安全作为国家安全的重要组成部分,在党的决策部署和人民的日常生活中,扮演着重要的角色。食品安全直接关乎着人民群众的生命健康权,是
期刊