论文部分内容阅读
摘 要: 随着科技的发展,人类社会步入大数据时代,计算机应用到各行各业,人们的日常生活也越来越离不开互联网络。但同时社会生产和生活中无时无刻不在生成着大量的数据,这些大数据的采集、导入预处理、统计分析、挖掘等过程,对传统信息处理技术来说是不小的考验。因此,基于大数据背景的计算机信息处理技术研究,对应对大数据时代的挑战、加快互联网发展具有重要意义。
关键词: 大数据;计算机信息处理技术;云计算
【中图分类号】 TP311 【文献标识码】 A【文章编号】 2236-1879(2018)14-0251-01
一、大数据的意义
大数据,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。其意义表现为:第一,优化。大数据为各级政府、企业、主管部门优化政策提供数据支撑。例如企业,可以根据有关消费者的消费情况的数据,了解市场动态和顾客需求,制定精准的营销战略,从而使企业降低生产成本,开发出符合大众需求的新产品,在市场竞争中抢占先机。第二,革命。互联网压力和大数据强大的分析能力,使所有靠信息不对称盈利的业务逐渐失去市场,使传统产业如市场研究产业、证券研究所等逐渐消失。传统企业需要转型,与时俱进地充分利用大数据的价值。
二、计算机信息处理技术
计算机信息处理技术为了统一管理信息,将数据信息的采集、传送、存储、处理、统计分析等过程结合在一起,相比于人工处理和机械式处理,计算机信息处理技术效率更高,且能自动处理大量的信息,提高了数据的分析率,并具有很高的精确度,在企业信息管理和运营中具有重要地位。
计算机信息处理技术主要有三个方面。第一,信息采集技术。指的是从繁杂的数据中提取有效信息,并进行分析整理,继而应用实现其意义。采集过程中一方面要保证信息的完整性,另一方面也要保证信息传输的保密性。第二,信息存储技术。指的是对海量的数据信息进行存储,是计算机信息处理技术的重要部分。在信息爆炸的时代,网上出现大量信息,以音频、视频、图像、文字等形式存在,对网络的存储量提出了更高的要求。因此,需要投入资金改进信息储存技术,以适应大数据背景下人们日益增长的需求。第三,信息安全技术。目前网络上的数据量大且繁杂,容易遭受计算机病毒、不法分子的攻击,且现在的计算机信息处理技术还是依赖于硬件设施,信息关联性强,数据遭到破坏时易产生相互作用,导致影响程度扩大。而信息安全技术可以保障数据的安全,有效解决信息数据处理中存在的问题,有效的应对网络攻击。
三、计算机信息技术处理过程中大数据处理步骤
(一)大数据的采集。
大数据的采集是指利用多个数据库来接收来自客户端的海量信息,并且将多种数据中的有效数据提取出来,分门别类,并找出数据之间的内在联系。同时采集的数据必须保证准确性和实时性。
在大数据的采集过程中,其主要的困难和挑战是并发数高,因为同时有可能会有成千上万的用户来进行访问和操作,比如在双十一活动开始时,淘宝要承受上千次甚至亿次客户访问量和订单量,需要在采集端部署大量数据库才能防止系统崩溃,避免数据丢失。
(二)大数据的导入与预处理。
虽然在前一步骤中有了很多数据库,但是如果要对收集的大数据进行有效分析,还是应该有一个集中的大型分布式数据库或者分布式存储集群,之后将收集到的数据导入其中,并进行一定的预处理。该过程的特点和挑战主要是导入的数据量大,每秒钟的导入量经常会达到百兆,甚至千兆。
(三)大数据的统计与分析。
统计与分析要依靠高性能的计算机和服务器,主要利用分布式数据库,或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等,以满足大多数常见的分析需求。统计与分析主要面临的困难是分析的数据量大且数据占据过多的系统资源。
(四)挖掘。
与分析和统计不同,数据挖掘主要是在已有数据的基础上,运用各种相关算法,实现高级别数据分析。该过程中运用的算法比较复杂且数据计算量庞大,较典型算法有用于聚类的K-Means、用于统计学习的SVM和用于分类的NaiveBayes,主要使用的工具有Hadoop的Mahout等。
四、计算机信息处理技术的发展前景
(一)数据的资源化。
是指大数据成为企业和社会关注的新焦点,成為企业制定营销战略的依据和重要资源。企业想要提高竞争力、抢占市场先机必须将大数据资源化,充分发掘其潜在价值。
(二)与云计算的深度结合。
传统的计算机信息处理技术往往依赖于计算机的硬件设施,导致其发展受硬件设施的制约有很大的局限性,无法紧跟计算机网络的发展脚步。而如今大数据时代背景下,数据的分析与统计不在依赖于本地计算机而是整个互联网络,即与分析与处理与云计算息息相关。在未来,两者关系将会更为密切。
(三)重视数据的安全性。
随着大数据时代的到来,人们对信息安全越来越重视,对计算机信息处理中有关安全的技术提出了更高的要求。除了用户本身的信息安全外,企业的数据安全也应该受到同样重视。企业需要提高信息处理技术来确保自身以及客户数据安全,这里要注意不仅仅是要在源头把控数据安全,还要加强数据传输过程的安全工作,同样也要注意最后一个环节的数据保存工作。
(四)转变数据运输方式。
数据的的运输方式会转变为开放式,开放式运输建立网络构架,将数据信息与硬件设施分隔开来,摆脱硬件设施对计算机信息处理技术的局限。
五、总结
在大数据时代背景下,人们对计算机信息处理技术的要求越来越高,计算机信息处理技术虽然有了一定的发展,但是还是应该加强相关安全研究,尽快发展硬件技术,实现硬件设施与网络数据的融合,满足处理海量化、实时化数据的要求。只有更加先进的信息处理技术才能快速推动网络的发展,为社会和人类生活带来更大的便利。
参考文献
[1] 王少峰.“大数据”背景下计算机信息处理技术研究[J].青年时代,2016,(13):122-122.
[2] 李萌.“大数据”时代的计算机信息处理方法阐述[J].电脑知识与技术,2016,(34):5-6.
[3] 田茂林.“大数据”时代的计算机信息处理技术研究[J].无线互联网科技,2016,29(2):144-146.
关键词: 大数据;计算机信息处理技术;云计算
【中图分类号】 TP311 【文献标识码】 A【文章编号】 2236-1879(2018)14-0251-01
一、大数据的意义
大数据,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。其意义表现为:第一,优化。大数据为各级政府、企业、主管部门优化政策提供数据支撑。例如企业,可以根据有关消费者的消费情况的数据,了解市场动态和顾客需求,制定精准的营销战略,从而使企业降低生产成本,开发出符合大众需求的新产品,在市场竞争中抢占先机。第二,革命。互联网压力和大数据强大的分析能力,使所有靠信息不对称盈利的业务逐渐失去市场,使传统产业如市场研究产业、证券研究所等逐渐消失。传统企业需要转型,与时俱进地充分利用大数据的价值。
二、计算机信息处理技术
计算机信息处理技术为了统一管理信息,将数据信息的采集、传送、存储、处理、统计分析等过程结合在一起,相比于人工处理和机械式处理,计算机信息处理技术效率更高,且能自动处理大量的信息,提高了数据的分析率,并具有很高的精确度,在企业信息管理和运营中具有重要地位。
计算机信息处理技术主要有三个方面。第一,信息采集技术。指的是从繁杂的数据中提取有效信息,并进行分析整理,继而应用实现其意义。采集过程中一方面要保证信息的完整性,另一方面也要保证信息传输的保密性。第二,信息存储技术。指的是对海量的数据信息进行存储,是计算机信息处理技术的重要部分。在信息爆炸的时代,网上出现大量信息,以音频、视频、图像、文字等形式存在,对网络的存储量提出了更高的要求。因此,需要投入资金改进信息储存技术,以适应大数据背景下人们日益增长的需求。第三,信息安全技术。目前网络上的数据量大且繁杂,容易遭受计算机病毒、不法分子的攻击,且现在的计算机信息处理技术还是依赖于硬件设施,信息关联性强,数据遭到破坏时易产生相互作用,导致影响程度扩大。而信息安全技术可以保障数据的安全,有效解决信息数据处理中存在的问题,有效的应对网络攻击。
三、计算机信息技术处理过程中大数据处理步骤
(一)大数据的采集。
大数据的采集是指利用多个数据库来接收来自客户端的海量信息,并且将多种数据中的有效数据提取出来,分门别类,并找出数据之间的内在联系。同时采集的数据必须保证准确性和实时性。
在大数据的采集过程中,其主要的困难和挑战是并发数高,因为同时有可能会有成千上万的用户来进行访问和操作,比如在双十一活动开始时,淘宝要承受上千次甚至亿次客户访问量和订单量,需要在采集端部署大量数据库才能防止系统崩溃,避免数据丢失。
(二)大数据的导入与预处理。
虽然在前一步骤中有了很多数据库,但是如果要对收集的大数据进行有效分析,还是应该有一个集中的大型分布式数据库或者分布式存储集群,之后将收集到的数据导入其中,并进行一定的预处理。该过程的特点和挑战主要是导入的数据量大,每秒钟的导入量经常会达到百兆,甚至千兆。
(三)大数据的统计与分析。
统计与分析要依靠高性能的计算机和服务器,主要利用分布式数据库,或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等,以满足大多数常见的分析需求。统计与分析主要面临的困难是分析的数据量大且数据占据过多的系统资源。
(四)挖掘。
与分析和统计不同,数据挖掘主要是在已有数据的基础上,运用各种相关算法,实现高级别数据分析。该过程中运用的算法比较复杂且数据计算量庞大,较典型算法有用于聚类的K-Means、用于统计学习的SVM和用于分类的NaiveBayes,主要使用的工具有Hadoop的Mahout等。
四、计算机信息处理技术的发展前景
(一)数据的资源化。
是指大数据成为企业和社会关注的新焦点,成為企业制定营销战略的依据和重要资源。企业想要提高竞争力、抢占市场先机必须将大数据资源化,充分发掘其潜在价值。
(二)与云计算的深度结合。
传统的计算机信息处理技术往往依赖于计算机的硬件设施,导致其发展受硬件设施的制约有很大的局限性,无法紧跟计算机网络的发展脚步。而如今大数据时代背景下,数据的分析与统计不在依赖于本地计算机而是整个互联网络,即与分析与处理与云计算息息相关。在未来,两者关系将会更为密切。
(三)重视数据的安全性。
随着大数据时代的到来,人们对信息安全越来越重视,对计算机信息处理中有关安全的技术提出了更高的要求。除了用户本身的信息安全外,企业的数据安全也应该受到同样重视。企业需要提高信息处理技术来确保自身以及客户数据安全,这里要注意不仅仅是要在源头把控数据安全,还要加强数据传输过程的安全工作,同样也要注意最后一个环节的数据保存工作。
(四)转变数据运输方式。
数据的的运输方式会转变为开放式,开放式运输建立网络构架,将数据信息与硬件设施分隔开来,摆脱硬件设施对计算机信息处理技术的局限。
五、总结
在大数据时代背景下,人们对计算机信息处理技术的要求越来越高,计算机信息处理技术虽然有了一定的发展,但是还是应该加强相关安全研究,尽快发展硬件技术,实现硬件设施与网络数据的融合,满足处理海量化、实时化数据的要求。只有更加先进的信息处理技术才能快速推动网络的发展,为社会和人类生活带来更大的便利。
参考文献
[1] 王少峰.“大数据”背景下计算机信息处理技术研究[J].青年时代,2016,(13):122-122.
[2] 李萌.“大数据”时代的计算机信息处理方法阐述[J].电脑知识与技术,2016,(34):5-6.
[3] 田茂林.“大数据”时代的计算机信息处理技术研究[J].无线互联网科技,2016,29(2):144-146.