论文部分内容阅读
【摘要】 本文设计一种应用区块链技术的大数据管理系统及方法，涉及区块链技术领域，本发明 包括数据库层、区块链层、数据共享层和数据应用层，本发明通过采用区块链技术，实现大数据管理，构建出包括数据库层、区块链层、数据共享层和数据应用层的架构体系，充分利用区块链技术的去中心化、不可篡改、分布式共同记账、非对称加密和数据安全存储等特点，实现数据的交互。
【关键词】 区块链 大数据管理系统 设计
Abstract： This article designs a big data management system and method using blockchain technology， involving the field of blockchain technology. The invention includes a database layer， a blockchain layer， a data sharing layer， and a data application layer. Block chain technology realizes big data management， builds an architecture system including database layer， blockchain layer， data sharing layer and data application layer， and makes full use of the decentralized， non-tamperable， distributed shared accounting of blockchain technology ， Asymmetric encryption and data security storage features to achieve data interaction. This article uses encryption and decryption functions to realize the encryption and decryption of big data， and improves the data security performance; the present invention also uses a sharing algorithm to realize data sharing in the blockchain， making full use of the sharing mechanism， and has decentralization， The advantages of trustlessness and data encryption can better solve the data management problems in big data applications.
Keywords： Blockchain; Big Data Management System; Design
前言
在大数据应用场景不断增加的同时，其存在的一些问题，其弊端也逐渐凸显出来，具体体现在以下3个方面：（1）由于数据量的增加以及数据处理速度的提升，传统的数据加密手段和安全检测机制很难应对，数据在传输过程中的保密性大大下降，数据面临着被窃的可能性;（2）随着人们对数据的依赖越来越重，数据的价值也不断提升，数据的交换、交易行为以及相关市场应运而生，目前数据的共享能力难以满足当前的需要。第三次工业革命使科学技术迅速的发展，为各个企业带来了机遇和挑战。随着消费升级，概念、层次、方式也发生了极大的变化，数据呈爆炸式增长，大数据的概念也被社会各界所重视。本文主要对大数据时代对商业模式影响进行研究和分析，明确现存商业模式的问题，并提出对应的策略，增加企业的综合实力和竞争力。
一、区域链
1.1区块链结构
用区块链所串接的分布式账本能让两方有效地记录交易，并且可以永久查询验证此交易。比特币系统是区块链技术的第一个现实产业应用，本小节以比特币系统为例，对区块链的数据结构加以说明。区块链数据结构如图 1所示。
1.2区块链基础架构模型
区块链是搭建在开放互联的计算机网络上的，需要借助网络的通讯能力为其传输各种信息。区块链基础架构与国际标准化组织制定的开放式系统互联极其相似：开放式系统互联模型把网络通信的工作分为 7 层，分别是物理层、数据链路层、网络层、传输层、会话层、表示层和应用层;区块链系统则依据功能的不同将其基础架构则分为 6 层，由低到高依次为数据层、网络层、共识层、激励层、合约层和应用层组成。
1.3区块链核心技术
区块链最初被提出时，是为了解决在互不相识的网络环境中，双方在没有第三方认证机构的存在下进行安全交易的问题，即创建一种在没有可信任方的情况下通过通信信道进行支付的机制，也就是本文中常说的去中心化机制。为了解决双方之间的交易信任以及交易安全问题，区块链提出了四大核心技术以解决此问题：分布式账本、加密技术、共识机制以及智能合约。
1.4区块链的分类
一般来说，按照去中心化的程度将区块链分为公有链、联盟链以及私有链。在三种链中
公有鏈的去中心化程度最高，几乎达到了完全去中心化;联盟链是弱中心化;私有链则是强中心化。
二、大数据管理系统的设计
2.1总体设计
数据协议是在不太影响挖掘效果的前提下对数据处理进行简化，可以有效提高挖掘效率。数据清洗保证了挖掘数据库中数据的完整性和一致性，提高了数据挖掘的有效性。数据转换就是根据挖掘目标，将数据转换成适合挖掘的形式。常用的方法有概念分层和数据离散化。 数据挖掘被称为数据库中的信息发现，即从大量数据中提取出有效的信息的高级处理模型。数据挖掘利用一些算法和计算从海量的繁杂的数据中提取所需要的知识和信息，它可以通过对历史或者当前的数据进行分析与研究，来为未来的决策进行判断。
信息系统：设S=（U，A，V，f）为一个信息系统。其中，为有限非空集合，xi为对象或者元组;为属性的有限非空集合。V是属性值得集合，V=∪（Va），其中Va∈A，Va为属性a的值域;f：U×A→V为信息函数。
关联分析研究的关系分为两种：简单关联关系和序列关联关系。决定关系的三个基本度量：支持度（可信度）、置信度（支持度）和兴趣度[2]。
（1）支持度：数据集包含某些特定项出现的概率。
（2）置信度=
（3）兴趣度：数据之间的亲密关系。兴趣度大于1時，表示存在关联关系。
设为项集，为属性集。
关联规则：，其中，，
设的项集为P，的项集为Q，记G=Q∪P
可信度，支持度
2.2数据库层的设计
为了获得有效的数据，需要进行数据清洗、文本分割和特征降维。中文分词有三个步骤，分别是填好词典进行分词，使用分词装置，去掉停止词以去掉无意义的词。与文本挖掘方法相比，粒度更细，评分更合理。
在统计学中，把研究对象的全体叫做总体。构成总体的每个数据成员就是个体。为了了解总体数据的特征，我们需要从总体中抽取样本数据，为了能由样本对总体做出可靠地判断，抽取样本时希望带有随机性和独立性，同时要排除一些干扰项。
影响数据质量的三个基本因素：准确性、完整性和一致性[4]。影响数据质量的另外两个因素是可信性和可解释性，可信性体现的是有多少数据是使用户信任的，可解释性体现的是数据能否容易了解。
导致不正确的数据可能有多种缘由的：
（1）收集数据的机器可能出故障或者是错误;
（2）可能在数据录入时出现人或计算机的失误;
（3）当个别用户提交自己的个人信息时，想要保护自己的个人隐私，就有可能故意向强制输入字段中输入了不正确的值。
属性子集则是选择经过删除不相关或者冗余的属性缩小数据量。
2.3区块链层
区块链层，其内至少设置有区块链系统，区块链系统包括数据层、网络层、共识层、激励层和智能合约层，其中数据层利用Merkle树进行数据存储，在结构上通过区块以链式的方式连接，并且数据结构设置有加密单元、加密算法模块和数据传递模块;网络层主要由错综交织的网络节点构成，通过不同的网络节点，利用点对点技术实现数据通讯和连接，使得处于区块链网络中的不同节点设备能够互通互联，在共识层中设置有共识机制，共识机制能够将区块链网络中设置的数据进行一致性交互，从而具有较好的数据共识能力和数据防攻击能力。
2.4数据共享层
数据共享层 ，其内至少设置有节点服务器，节点服务器应用于区块链网络中，并与区块链节点连接。
2.5数据应用层
数据应用层，其内至少设置有应用服务器，应用服务器通过无线通讯接口、RS232接口、USB接口或者远程通讯接口与加密数据库连接，应用服务器设置有解密单元;其中：数据库层与区块链层连接，区块链层与数据共享层连接，数据共享层与数据应用层连接。
三、结束语
高级数据分析则事源于80年代后期，是一门交叉性学科，融合了人工智能、统计学、数据库技术等多种技术。传统的大数据系统运行较为复杂，成本较高，可以通过区域链的基础上大数据管理系统的设计与实现，提高数据处理的速度与完整，起到较高的应用价值。以实现经济价值使用当今最先进的互联网技术的目的不仅使公司能够准确地了解消费者的需求，以便他们生产并投放市场以满足消费需求另外，还可以大大减少企业获取信息的时间，从而减少降低了成本，可用于企业的创新，生产，开发等生产活动，并提高提高公司在市场竞争中的地位，使公司获得巨大的经济效益受益，公司可以利用大数据为客户提供更好的产品和服务，从而实现企业利润的增长;通过使用大数据，公司还可以节省大量成本，更准确地确定销售目标，降低风险并预测消费者的潜在需求，以便最终达到灵活生产的目的，针对每个消费者提供真正合适的产品和服务
参 考 文 献
[1]贺海武，延安，陈泽华.基于区块链的智能合约技术与应用综述[J].计算机研究与发展，2018，55（11）：2452-2466.
[2]黄征，李祥学，来学嘉，等.区块链技术及其应用[J]. 信息安全研究，2017， 3（03）：237-245
[3]刘肖飞.基于动态授权的拜占庭容错共识算法的区块链性能改进研究[D].杭州：浙江大学，2017
[4]沈鑫，裴庆祺，刘雪峰，等.区块链技术综述[J].网络与信息安全学报，2016， 2（11）：11-20.
[5]宋焘谊，赵运磊.区块链共识算法的比较研究[J].计算机应用与软件，2018，35（08）：1-8.
[6]袁勇，王飞跃.区块链技术发展现状与展望[J].自动化学报，2016，42：4.
[7]张健.区块链：定义未来金融与经济新格局[M].北京：机械工业出版社，2016.
[8] Justin O’Connell. What Are the Use Cases for Private Blockchains？ The Experts Weigh In[J]. Bitcoin Magazine，2016.
[9] Duong T， Fan L， Zhou H S. 2-hop blockchain： Combining Proof-of-Work and Proof-of-Stake Securely [OL].[2017-04-15]. https：//eprint.iacr.org/2016/716.pdf.
[10] Gervais A， Karame G O， Wüst K， et al. On the security and performance of proof of work blockchains[C]//Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security. ACM， 2016： 3-16.
[11] Gilad Y， Hemo R， Micali S， et al. Algorand： Scaling Byzantine Agreements for Cryptocurrencies [C]. Proceedings of the 26th Symposium on Operating Systems Principles .Shanghai， China：ACM，2017.51-68.
[12]曾锵.大数据驱动的商业模式创新研究[J].科学学研究，2019，37（6）：1142-1152.
[13]张晓飞.大数据时代背景下企业管理模式创新策略研究[J].现代营销（信息版），2019（4）：114-115.
[14]汪涛.大数据时代企业管理模式的创新路径研究[J].湖北函授大学学报，2017（24）：94-95+100.
[15]曾锵.大数据驱动的商业模式创新研究[J].科学学研究，2019，37（6）：1142-1152.
[16]张晓飞.大数据时代背景下企业管理模式创新策略研究[J].现代营销（信息版），2019（4）：114-115.
[17]汪涛.大数据时代企业管理模式的创新路径研究[J].湖北函授大学学报，2017（24）：94-95+100
【关键词】 区块链 大数据管理系统 设计
Abstract： This article designs a big data management system and method using blockchain technology， involving the field of blockchain technology. The invention includes a database layer， a blockchain layer， a data sharing layer， and a data application layer. Block chain technology realizes big data management， builds an architecture system including database layer， blockchain layer， data sharing layer and data application layer， and makes full use of the decentralized， non-tamperable， distributed shared accounting of blockchain technology ， Asymmetric encryption and data security storage features to achieve data interaction. This article uses encryption and decryption functions to realize the encryption and decryption of big data， and improves the data security performance; the present invention also uses a sharing algorithm to realize data sharing in the blockchain， making full use of the sharing mechanism， and has decentralization， The advantages of trustlessness and data encryption can better solve the data management problems in big data applications.
Keywords： Blockchain; Big Data Management System; Design
前言
在大数据应用场景不断增加的同时，其存在的一些问题，其弊端也逐渐凸显出来，具体体现在以下3个方面：（1）由于数据量的增加以及数据处理速度的提升，传统的数据加密手段和安全检测机制很难应对，数据在传输过程中的保密性大大下降，数据面临着被窃的可能性;（2）随着人们对数据的依赖越来越重，数据的价值也不断提升，数据的交换、交易行为以及相关市场应运而生，目前数据的共享能力难以满足当前的需要。第三次工业革命使科学技术迅速的发展，为各个企业带来了机遇和挑战。随着消费升级，概念、层次、方式也发生了极大的变化，数据呈爆炸式增长，大数据的概念也被社会各界所重视。本文主要对大数据时代对商业模式影响进行研究和分析，明确现存商业模式的问题，并提出对应的策略，增加企业的综合实力和竞争力。
一、区域链
1.1区块链结构
用区块链所串接的分布式账本能让两方有效地记录交易，并且可以永久查询验证此交易。比特币系统是区块链技术的第一个现实产业应用，本小节以比特币系统为例，对区块链的数据结构加以说明。区块链数据结构如图 1所示。
1.2区块链基础架构模型
区块链是搭建在开放互联的计算机网络上的，需要借助网络的通讯能力为其传输各种信息。区块链基础架构与国际标准化组织制定的开放式系统互联极其相似：开放式系统互联模型把网络通信的工作分为 7 层，分别是物理层、数据链路层、网络层、传输层、会话层、表示层和应用层;区块链系统则依据功能的不同将其基础架构则分为 6 层，由低到高依次为数据层、网络层、共识层、激励层、合约层和应用层组成。
1.3区块链核心技术
区块链最初被提出时，是为了解决在互不相识的网络环境中，双方在没有第三方认证机构的存在下进行安全交易的问题，即创建一种在没有可信任方的情况下通过通信信道进行支付的机制，也就是本文中常说的去中心化机制。为了解决双方之间的交易信任以及交易安全问题，区块链提出了四大核心技术以解决此问题：分布式账本、加密技术、共识机制以及智能合约。
1.4区块链的分类
一般来说，按照去中心化的程度将区块链分为公有链、联盟链以及私有链。在三种链中
公有鏈的去中心化程度最高，几乎达到了完全去中心化;联盟链是弱中心化;私有链则是强中心化。
二、大数据管理系统的设计
2.1总体设计
数据协议是在不太影响挖掘效果的前提下对数据处理进行简化，可以有效提高挖掘效率。数据清洗保证了挖掘数据库中数据的完整性和一致性，提高了数据挖掘的有效性。数据转换就是根据挖掘目标，将数据转换成适合挖掘的形式。常用的方法有概念分层和数据离散化。 数据挖掘被称为数据库中的信息发现，即从大量数据中提取出有效的信息的高级处理模型。数据挖掘利用一些算法和计算从海量的繁杂的数据中提取所需要的知识和信息，它可以通过对历史或者当前的数据进行分析与研究，来为未来的决策进行判断。
信息系统：设S=（U，A，V，f）为一个信息系统。其中，为有限非空集合，xi为对象或者元组;为属性的有限非空集合。V是属性值得集合，V=∪（Va），其中Va∈A，Va为属性a的值域;f：U×A→V为信息函数。
关联分析研究的关系分为两种：简单关联关系和序列关联关系。决定关系的三个基本度量：支持度（可信度）、置信度（支持度）和兴趣度[2]。
（1）支持度：数据集包含某些特定项出现的概率。
（2）置信度=
（3）兴趣度：数据之间的亲密关系。兴趣度大于1時，表示存在关联关系。
设为项集，为属性集。
关联规则：，其中，，
设的项集为P，的项集为Q，记G=Q∪P
可信度，支持度
2.2数据库层的设计
为了获得有效的数据，需要进行数据清洗、文本分割和特征降维。中文分词有三个步骤，分别是填好词典进行分词，使用分词装置，去掉停止词以去掉无意义的词。与文本挖掘方法相比，粒度更细，评分更合理。
在统计学中，把研究对象的全体叫做总体。构成总体的每个数据成员就是个体。为了了解总体数据的特征，我们需要从总体中抽取样本数据，为了能由样本对总体做出可靠地判断，抽取样本时希望带有随机性和独立性，同时要排除一些干扰项。
影响数据质量的三个基本因素：准确性、完整性和一致性[4]。影响数据质量的另外两个因素是可信性和可解释性，可信性体现的是有多少数据是使用户信任的，可解释性体现的是数据能否容易了解。
导致不正确的数据可能有多种缘由的：
（1）收集数据的机器可能出故障或者是错误;
（2）可能在数据录入时出现人或计算机的失误;
（3）当个别用户提交自己的个人信息时，想要保护自己的个人隐私，就有可能故意向强制输入字段中输入了不正确的值。
属性子集则是选择经过删除不相关或者冗余的属性缩小数据量。
2.3区块链层
区块链层，其内至少设置有区块链系统，区块链系统包括数据层、网络层、共识层、激励层和智能合约层，其中数据层利用Merkle树进行数据存储，在结构上通过区块以链式的方式连接，并且数据结构设置有加密单元、加密算法模块和数据传递模块;网络层主要由错综交织的网络节点构成，通过不同的网络节点，利用点对点技术实现数据通讯和连接，使得处于区块链网络中的不同节点设备能够互通互联，在共识层中设置有共识机制，共识机制能够将区块链网络中设置的数据进行一致性交互，从而具有较好的数据共识能力和数据防攻击能力。
2.4数据共享层
数据共享层 ，其内至少设置有节点服务器，节点服务器应用于区块链网络中，并与区块链节点连接。
2.5数据应用层
数据应用层，其内至少设置有应用服务器，应用服务器通过无线通讯接口、RS232接口、USB接口或者远程通讯接口与加密数据库连接，应用服务器设置有解密单元;其中：数据库层与区块链层连接，区块链层与数据共享层连接，数据共享层与数据应用层连接。
三、结束语
高级数据分析则事源于80年代后期，是一门交叉性学科，融合了人工智能、统计学、数据库技术等多种技术。传统的大数据系统运行较为复杂，成本较高，可以通过区域链的基础上大数据管理系统的设计与实现，提高数据处理的速度与完整，起到较高的应用价值。以实现经济价值使用当今最先进的互联网技术的目的不仅使公司能够准确地了解消费者的需求，以便他们生产并投放市场以满足消费需求另外，还可以大大减少企业获取信息的时间，从而减少降低了成本，可用于企业的创新，生产，开发等生产活动，并提高提高公司在市场竞争中的地位，使公司获得巨大的经济效益受益，公司可以利用大数据为客户提供更好的产品和服务，从而实现企业利润的增长;通过使用大数据，公司还可以节省大量成本，更准确地确定销售目标，降低风险并预测消费者的潜在需求，以便最终达到灵活生产的目的，针对每个消费者提供真正合适的产品和服务
参 考 文 献
[1]贺海武，延安，陈泽华.基于区块链的智能合约技术与应用综述[J].计算机研究与发展，2018，55（11）：2452-2466.
[2]黄征，李祥学，来学嘉，等.区块链技术及其应用[J]. 信息安全研究，2017， 3（03）：237-245
[3]刘肖飞.基于动态授权的拜占庭容错共识算法的区块链性能改进研究[D].杭州：浙江大学，2017
[4]沈鑫，裴庆祺，刘雪峰，等.区块链技术综述[J].网络与信息安全学报，2016， 2（11）：11-20.
[5]宋焘谊，赵运磊.区块链共识算法的比较研究[J].计算机应用与软件，2018，35（08）：1-8.
[6]袁勇，王飞跃.区块链技术发展现状与展望[J].自动化学报，2016，42：4.
[7]张健.区块链：定义未来金融与经济新格局[M].北京：机械工业出版社，2016.
[8] Justin O’Connell. What Are the Use Cases for Private Blockchains？ The Experts Weigh In[J]. Bitcoin Magazine，2016.
[9] Duong T， Fan L， Zhou H S. 2-hop blockchain： Combining Proof-of-Work and Proof-of-Stake Securely [OL].[2017-04-15]. https：//eprint.iacr.org/2016/716.pdf.
[10] Gervais A， Karame G O， Wüst K， et al. On the security and performance of proof of work blockchains[C]//Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security. ACM， 2016： 3-16.
[11] Gilad Y， Hemo R， Micali S， et al. Algorand： Scaling Byzantine Agreements for Cryptocurrencies [C]. Proceedings of the 26th Symposium on Operating Systems Principles .Shanghai， China：ACM，2017.51-68.
[12]曾锵.大数据驱动的商业模式创新研究[J].科学学研究，2019，37（6）：1142-1152.
[13]张晓飞.大数据时代背景下企业管理模式创新策略研究[J].现代营销（信息版），2019（4）：114-115.
[14]汪涛.大数据时代企业管理模式的创新路径研究[J].湖北函授大学学报，2017（24）：94-95+100.
[15]曾锵.大数据驱动的商业模式创新研究[J].科学学研究，2019，37（6）：1142-1152.
[16]张晓飞.大数据时代背景下企业管理模式创新策略研究[J].现代营销（信息版），2019（4）：114-115.
[17]汪涛.大数据时代企业管理模式的创新路径研究[J].湖北函授大学学报，2017（24）：94-95+100