论文部分内容阅读
摘 要:本文分析了大数据实践客体的非传统,包括大数据的非确定性,大数据的非实在性,大数据的非统一性。
关键词:大数据;实践;非传统
如今大数据发展大体分为两种类型,一是企业型大数据,企业产品的研发和服务领域产生了大量的海量数据,对这些数据进行整合与分析,完善企业业务吸引更多客户群体从而正向循环式的产生了更多的超大规模的数据。二是网络型大数据,在互联网上发生的、蕴含极其丰富的可被发掘价值的大数据。如具有社会价值、科研价值等等的数据。大數据具有的4 V特性(Volume规模巨大,Velocity速度极快,Variety模态多样,Veracity真伪难辨)导致其规模与复杂度显而易见。带来的技术挑战集中表现在数据的异构性和不完备性、数据处理的实效性、数据的隐私保护、大数据价值服务的有效性发掘、大数据的再分析处理等方面。企业在针对网络型大数据方面的问题更为严峻,也一直努力去探讨研发下一个阶段的可行商业开发和应用形态。
人们在运用大数据分析从而得到相关有用价值的知识,因此大数据的价值更为显著,在不断的学习与管理大数据平台期间也要对获取的相关知识进行整合,这样才能更好的发展大数据的相关结构。大数据技术的卓越发展促使了大数据引擎检索与分析在航空、车载服务、科技资源、医疗等领域开展了示范应用,同时也获得了大众好评。
1.大数据的非确定性
虚拟网络数据的不确定性包括数据的不确定性、模型的不确定性和学习的不确定性。以上不同类型的不确定性让网络数据难以有效地利用其价值服务于人们的实践活动。
1.1数据的不确定性
网络原始数据的不准确性和数据采集处理粒度、应用需求与数据集成和展示等因素迫使数据在不同尺度、不同维度上都有不同程度的不确定性。传统数据侧重于数据准确性的处理方法,很难应对海量数据、多类型数据、高维数据的不确定性数据。总而言之,在数据的信息采集、信息查询、信息建模、信息存储、信息检索和信息挖掘等方面都使用优良的新方法来应对数据不确定性的挑战。大数据时代以来,概率统计论的方法广泛应用于不确定性数据的处理当中。网络时代使用不确定的方法早已难以应付数据的不确定性对大数据的影响,高速计算机硬件的研发也为解决数据不确定性提供了有效的帮助。
1.2模型的不确定性
只有不断创新研发出对数据处理的新的方式,合理的抱我模型表达与复杂度之间的平衡才能够应对在数据不确定性的环境下提出新的模型方法。“可能世界模型”是针对不确定数据的建模系统设计上最为朴实的观点。只有数据的各种状态都加以刻画才能解决各类结构范畴下数据的不确定性。模型刻画模式由于具有较强的表达能力而且可对数据相关性进行建模,因此被广泛的应用于不确定数据的建模领域。此外,不确定性模型的建构对数据管理和挖掘信息的查询、信息的检索、信息的传输、信息的展示等各个方面都有深有影响。
1.3学习的不确定性
数据模型需要对数据模型参数有着深入的了解与学习。在众多偶遇情况中一个局部有界的查询都尤为吃力,通过不确定的学习方法来解决最优解NP问题是现今广泛运用的一种方式。现今大数据时代背景下,传统近视的不确定学习法应对大数据模型的庞大规模承载着巨大的责任与挑战。随着计算机多核CPU/GPU的普及与研究在解决近似的不确定性学习数据模型方面成为了重要手段。
2.大数据的非实在性
非实在性是网络数据有别于其它数据的关键特性。网络数据的非实在性在数据模式的非实在性、数据产生的行为的非实在性和数据智慧的非实在性在度量和预判上显得难以驾驭。
2.1模式的非实在性
网络大数据对数据结构、数据功能等方面展现出了局部结构特点所不具备的特定模式特征。在多领域的网络数据里由于数据的属性不同、功能不同等层面不仅存在着参差不齐的差异而且油相互彼此关联着。数据模式在结构方面由于不同的关联程度让网络数据构成显现出模块结构,网络数据自动地相互分离涌现成众多小块的演变过程促成了网络功能结构。这些模式的非实在性特征对于社会网络模型的发展有着重大的科研意义。
2.2行为的非实在性
大数据网络有着许多相似的个体并建立着相关的社会关系。大数据采集技术日新月异的发展让人们所获得的数据都具有时序性,而且虚拟网络个人行为数据的暴涨就是其分布统计的结果。资深专家Schelling在虚拟社会网络模型演变过程中数据自主的相互分离成连通块这一现象对于研究虚拟网络模型规律影响盛大。虚拟网络个体发送邮件的数量日益剧增,个体与个体使用社交网络媒介频率涌现的特征也证明了自然界和社会中个体与个体之间的互相竞争模式能显现出一种不同的同步状态的非实在性。
2.3智慧的非实在性
网络数据无法预测与掌控,个体与个体大量的相互转换、融合和连接所持续变化演进形成各式各样的语义简称为智慧的非实在性。这种别具匠心的智慧显现方式在互联网和虚拟网络平台的火速发展中建立了全新的数据生产模式、大数据处理协作模式和全新的商业群体模式。
综上所述,网络社交媒介对大数据的研究领域包含了信息数据库、信息数据挖掘和信息机器化学习等模式,由于海量大数据规模庞大关系复杂且深入研究领域众多,使得部分研究成果无法直接借鉴于虚拟网络大数据引擎,至今为止就连大数据科学与技术的内涵与延伸都缺乏权威的界定与论证,因此大数据技术在理论和方法研究领域发展空问广阔,拟定全新的“数据”到“数据”的研究方案需要更加完备的理论体系的支撑。
3.大数据的非统一性
大数据的非统一性包含信息数据类型的非统一性、信息数据内在模式的非统一性和信息数据结构的非统一性。它使得网络大数据信息存储、信息挖掘、信息分析等众多发面遭受了前所未有的挑战。
3.1数据类型非统一性
网络数据日新月异的增长包括其信息技术数据途径多样化的演变与发展、信息数据类型丰富多彩的涌现与扩张,网络大数据技术针对信息数据采集、信息存储和信息处理的要求也随之不断创新。大数据网络的兴起在个人运用网络信息技术的同时(如微博、微信等网络信息平台APP),对信息数据传播媒介、信息数据传播个人和信息数据引擎等方面都带来了全新的挑战。简短的文本信息数据渐渐取代了传统通信的长文本信息数据,简短的文本信息由于长度短,信息上下文统计信方便快捷,针对传统文本信息挖掘(如信息检索、信息主题发现、信息语义和信息情感分析等)带来恐惧的研究挑战。相关联的研究数据源包括利用外部数据源(如Wikipediaft)、搜索结果等)扩充文档或依赖内部类似文档信息源去扩展短文本信息源。外部、内部数据源的引用都带来了噪音方面
的不良影响,处理并有机融合这些各式各异的的数据也带来了前所未有的全新的挑战。比如社交媒体中探寻地域信息与内容的融合、时空信息技术与内容信息技术的结合等。
3.2数据结构的非统一性
传统数据对象的处理不仅能将相关信息存储在关联数据库中,而且处理数据对象都具有结构性。虚拟网络、移动笔记本、传感器等尖端技术的出现使得信息数据生成方式丰富多彩,非结构化信息数据的生成主导了大数据信息存储的主流。非结构化数据蕴含着五彩缤纷绚丽的数据知识且格式类别众多,基本包括文本数据、文档数据、图形数据、视频数据等形式,其异构、可变的表现形态给数据信息分析和数据信息挖掘带来了不小的挑战。针对非结构化数据信息组织凌乱富含相关无用信息的特点,其带给数据信息存储、数据信息分析带来了很大的挑战。
参考文献:
[1]吴吉义,傅建庆,张明西,等.云数据管理研究综述电信科学,2010(5):34.41
[2]吕新奎: 《中国信息化》,北京:电子工业出版社,2002年
关键词:大数据;实践;非传统
如今大数据发展大体分为两种类型,一是企业型大数据,企业产品的研发和服务领域产生了大量的海量数据,对这些数据进行整合与分析,完善企业业务吸引更多客户群体从而正向循环式的产生了更多的超大规模的数据。二是网络型大数据,在互联网上发生的、蕴含极其丰富的可被发掘价值的大数据。如具有社会价值、科研价值等等的数据。大數据具有的4 V特性(Volume规模巨大,Velocity速度极快,Variety模态多样,Veracity真伪难辨)导致其规模与复杂度显而易见。带来的技术挑战集中表现在数据的异构性和不完备性、数据处理的实效性、数据的隐私保护、大数据价值服务的有效性发掘、大数据的再分析处理等方面。企业在针对网络型大数据方面的问题更为严峻,也一直努力去探讨研发下一个阶段的可行商业开发和应用形态。
人们在运用大数据分析从而得到相关有用价值的知识,因此大数据的价值更为显著,在不断的学习与管理大数据平台期间也要对获取的相关知识进行整合,这样才能更好的发展大数据的相关结构。大数据技术的卓越发展促使了大数据引擎检索与分析在航空、车载服务、科技资源、医疗等领域开展了示范应用,同时也获得了大众好评。
1.大数据的非确定性
虚拟网络数据的不确定性包括数据的不确定性、模型的不确定性和学习的不确定性。以上不同类型的不确定性让网络数据难以有效地利用其价值服务于人们的实践活动。
1.1数据的不确定性
网络原始数据的不准确性和数据采集处理粒度、应用需求与数据集成和展示等因素迫使数据在不同尺度、不同维度上都有不同程度的不确定性。传统数据侧重于数据准确性的处理方法,很难应对海量数据、多类型数据、高维数据的不确定性数据。总而言之,在数据的信息采集、信息查询、信息建模、信息存储、信息检索和信息挖掘等方面都使用优良的新方法来应对数据不确定性的挑战。大数据时代以来,概率统计论的方法广泛应用于不确定性数据的处理当中。网络时代使用不确定的方法早已难以应付数据的不确定性对大数据的影响,高速计算机硬件的研发也为解决数据不确定性提供了有效的帮助。
1.2模型的不确定性
只有不断创新研发出对数据处理的新的方式,合理的抱我模型表达与复杂度之间的平衡才能够应对在数据不确定性的环境下提出新的模型方法。“可能世界模型”是针对不确定数据的建模系统设计上最为朴实的观点。只有数据的各种状态都加以刻画才能解决各类结构范畴下数据的不确定性。模型刻画模式由于具有较强的表达能力而且可对数据相关性进行建模,因此被广泛的应用于不确定数据的建模领域。此外,不确定性模型的建构对数据管理和挖掘信息的查询、信息的检索、信息的传输、信息的展示等各个方面都有深有影响。
1.3学习的不确定性
数据模型需要对数据模型参数有着深入的了解与学习。在众多偶遇情况中一个局部有界的查询都尤为吃力,通过不确定的学习方法来解决最优解NP问题是现今广泛运用的一种方式。现今大数据时代背景下,传统近视的不确定学习法应对大数据模型的庞大规模承载着巨大的责任与挑战。随着计算机多核CPU/GPU的普及与研究在解决近似的不确定性学习数据模型方面成为了重要手段。
2.大数据的非实在性
非实在性是网络数据有别于其它数据的关键特性。网络数据的非实在性在数据模式的非实在性、数据产生的行为的非实在性和数据智慧的非实在性在度量和预判上显得难以驾驭。
2.1模式的非实在性
网络大数据对数据结构、数据功能等方面展现出了局部结构特点所不具备的特定模式特征。在多领域的网络数据里由于数据的属性不同、功能不同等层面不仅存在着参差不齐的差异而且油相互彼此关联着。数据模式在结构方面由于不同的关联程度让网络数据构成显现出模块结构,网络数据自动地相互分离涌现成众多小块的演变过程促成了网络功能结构。这些模式的非实在性特征对于社会网络模型的发展有着重大的科研意义。
2.2行为的非实在性
大数据网络有着许多相似的个体并建立着相关的社会关系。大数据采集技术日新月异的发展让人们所获得的数据都具有时序性,而且虚拟网络个人行为数据的暴涨就是其分布统计的结果。资深专家Schelling在虚拟社会网络模型演变过程中数据自主的相互分离成连通块这一现象对于研究虚拟网络模型规律影响盛大。虚拟网络个体发送邮件的数量日益剧增,个体与个体使用社交网络媒介频率涌现的特征也证明了自然界和社会中个体与个体之间的互相竞争模式能显现出一种不同的同步状态的非实在性。
2.3智慧的非实在性
网络数据无法预测与掌控,个体与个体大量的相互转换、融合和连接所持续变化演进形成各式各样的语义简称为智慧的非实在性。这种别具匠心的智慧显现方式在互联网和虚拟网络平台的火速发展中建立了全新的数据生产模式、大数据处理协作模式和全新的商业群体模式。
综上所述,网络社交媒介对大数据的研究领域包含了信息数据库、信息数据挖掘和信息机器化学习等模式,由于海量大数据规模庞大关系复杂且深入研究领域众多,使得部分研究成果无法直接借鉴于虚拟网络大数据引擎,至今为止就连大数据科学与技术的内涵与延伸都缺乏权威的界定与论证,因此大数据技术在理论和方法研究领域发展空问广阔,拟定全新的“数据”到“数据”的研究方案需要更加完备的理论体系的支撑。
3.大数据的非统一性
大数据的非统一性包含信息数据类型的非统一性、信息数据内在模式的非统一性和信息数据结构的非统一性。它使得网络大数据信息存储、信息挖掘、信息分析等众多发面遭受了前所未有的挑战。
3.1数据类型非统一性
网络数据日新月异的增长包括其信息技术数据途径多样化的演变与发展、信息数据类型丰富多彩的涌现与扩张,网络大数据技术针对信息数据采集、信息存储和信息处理的要求也随之不断创新。大数据网络的兴起在个人运用网络信息技术的同时(如微博、微信等网络信息平台APP),对信息数据传播媒介、信息数据传播个人和信息数据引擎等方面都带来了全新的挑战。简短的文本信息数据渐渐取代了传统通信的长文本信息数据,简短的文本信息由于长度短,信息上下文统计信方便快捷,针对传统文本信息挖掘(如信息检索、信息主题发现、信息语义和信息情感分析等)带来恐惧的研究挑战。相关联的研究数据源包括利用外部数据源(如Wikipediaft)、搜索结果等)扩充文档或依赖内部类似文档信息源去扩展短文本信息源。外部、内部数据源的引用都带来了噪音方面
的不良影响,处理并有机融合这些各式各异的的数据也带来了前所未有的全新的挑战。比如社交媒体中探寻地域信息与内容的融合、时空信息技术与内容信息技术的结合等。
3.2数据结构的非统一性
传统数据对象的处理不仅能将相关信息存储在关联数据库中,而且处理数据对象都具有结构性。虚拟网络、移动笔记本、传感器等尖端技术的出现使得信息数据生成方式丰富多彩,非结构化信息数据的生成主导了大数据信息存储的主流。非结构化数据蕴含着五彩缤纷绚丽的数据知识且格式类别众多,基本包括文本数据、文档数据、图形数据、视频数据等形式,其异构、可变的表现形态给数据信息分析和数据信息挖掘带来了不小的挑战。针对非结构化数据信息组织凌乱富含相关无用信息的特点,其带给数据信息存储、数据信息分析带来了很大的挑战。
参考文献:
[1]吴吉义,傅建庆,张明西,等.云数据管理研究综述电信科学,2010(5):34.41
[2]吕新奎: 《中国信息化》,北京:电子工业出版社,2002年