【摘 要】
:
随着知识图谱越来越受到大众的欢迎,各大公司都在争先恐后地把自己的数据存储到图数据库引擎上,与此同时,数据的分析与挖掘也慢慢变得重要了起来。然而对数据的挖掘需要使用大量不同类别的数据进行交叉分析,而不同类别的数据就涉及到了由不同团队负责维护的数据,通常情况下这些数据并不在同一台服务器上,甚至使用了不同的数据库来存储这些异构数据。如果对这些数据进行挖掘则要将这些数据整合起来进行分析。然而,很少有完善的
论文部分内容阅读
随着知识图谱越来越受到大众的欢迎,各大公司都在争先恐后地把自己的数据存储到图数据库引擎上,与此同时,数据的分析与挖掘也慢慢变得重要了起来。然而对数据的挖掘需要使用大量不同类别的数据进行交叉分析,而不同类别的数据就涉及到了由不同团队负责维护的数据,通常情况下这些数据并不在同一台服务器上,甚至使用了不同的数据库来存储这些异构数据。如果对这些数据进行挖掘则要将这些数据整合起来进行分析。然而,很少有完善的事务框架可以支持这种跨数据库的事务。在传统分布式事务的框架当中,两阶段提交(2PC)协议是经典的实现方案。然而这种方案需要对使用的资源进行锁定,甚至对服务的横向扩展产生了影响。那么如何基于多个异构数据源实现分布式事务系统是本文研究的目标,本文的方案主要依据e Bay的GRIT协议。完成了以下工作:1.设计并实现了分布式事务模块,基于GRIT协议,针对图数据库做了相应优化,降低了锁的粒度。结合了乐观并发控制和确定性事务的思想,将事务的提交过程从事务的决策过程中移出,同时减少了各个模块之间的数据传输量,减少了事务的等待时间。2.根据图数据库的特点,设计了事务的并发方案,将属性和关系区分进行冲突判断,提高了事务之间的并行程度。详细设计了系统的容错恢复策略,保证在宕机时数据不会丢失,并且在一定程度上保证事务不会被因服务器宕机导致终端执行。实现了在大规模并发情况下模块的负载均衡策略,保证单模块不会成为瓶颈。3.通过对事务日志的分析,设计并实现了一个高性能的分布式流式数据存储系统,该系统使用了内存并行缓存策略,对LSM-Tree算法进行改进,解决了读写放大的问题;并且基于主从复制的策略进行数据的冗余备份;根据应用场景,实现了高效的数据缓存策略,达到了多路事务日志的高效存取的设计要求。4.在测试章节中,对上面所述两个模块和整体事务系统进行了功能和性能上的测试,功能测试结果说明事务系统和各个模块均达到了设计的要求,能够在事务执行发生异常的状况下正确的提供服务。性能测试结果说明日志的性能和事务的性能都达到了预定的目标。并且在测试的结尾结合应用场景对测试结果进行了详细分析。
其他文献
在当下,嵌入式系统广泛应用在各个行业的各个方面,各领域的需求和使用场景越来越复杂的,传统单一的系统必然会有难以满足的情况存在,这只能造成现有平台的设计越来越冗余。在上述背景下,为了解决复杂业务场景的协同等等问题,在实际需求的推动下,嵌入式系统自然而然会引入多操作系统架构平台,或者说是嵌入式虚拟化平台。应用在嵌入式系统的虚拟化技术,主要目标就是在一套硬件设备上支持两个或多个执行环境,并且在嵌入式硬件
ISO9001《质量管理体系要求》是国际通用且被众多组织证明是行之有效的质量管理体系标准,贯彻ISO9001标准在不同程度上促进了组织的规范化管理,提高了产品和服务的质量。但在看到ISO9001标准给组织带来正面效应的同时,一些组织在贯标过程中存在的"两张皮"问题也不容忽视。本文分析了质量管理体系运行中存在的"两张皮"现象及其原因,阐述了通过贯彻新版标准GB/T19001-2016的新要求,
在“大数据”时代,互联网上每天都会产生海量数据,造成“信息过载”问题。“信息过载”问题是指人们在获取自己感兴趣的信息时,因为面对的信息过于繁杂,很难找到自己真正需要的信息。推荐系统是当前应对“信息过载”问题最有用的方法之一,在诸多领域都发挥着重要的作用。协同过滤推荐算法作为当前使用范围最广的一种推荐算法,可以对用户的历史行为记录进行统计和分析,从而挖掘出用户偏好以及物品属性,为用户提供更精准的个性
传统数据管理方式是每个管理域独自管理自己管辖区内的数据,不利于如今大数据时代的信息共享,跨管理域数据共享变成一个迫切需求。传统的数据共享需要第三方的机构,统一管理数据、维护数据,这种模式存在一个问题,需要参与数据共享的数据提供方绝对的信任第三方数据管理机构是可靠的,遗憾的是,数据提供方并不能完全信任第三方机构,使得数据提供方缺少数据共享的主观能动性,阻碍了数据共享的进一步发展。为了解决上述传统数据
装修机器人的推广应用是房地产行业提质增效、解决人力资源短缺的重要手段,同时,3D点云是一种获取环境信息的重要数据形式,在机器人、自动驾驶等领域应用广泛。有效理解环境语义信息是装修机器人工作的基础,3D点云数据的语义分割方法研究具有重要的理论价值和现实意义。由于点云数据的非结构化特性以及获取成本高,传统点云处理技术的研究局限于单一领域,点云深度学习研究方兴未艾,现有方法通用性不强,难以实现装修机器人
行人重识别是计算机视觉领域中的研究热点之一,通过指导智能视频监控自动地从不同摄像头中匹配相同行人的图片,在帮助公安机关追踪犯罪分子轨迹、大型商超分析顾客购物意图等方面发挥着重要作用。但是,目前行人重识别还存在着诸多挑战,受到摄像头视角、人体姿态等因素的影响难以一次性查询到所有的正确结果,表现良好的模型迁移到新场景、新领域时准确率会严重降低。本文利用深度学习方法提取行人图像的深度特征,并且针对上述问
随着中国互联网的发展和普及,视频应用的需求得到爆发式的增长,手机直播、网络视频等成为重要的传播媒介和新的互联网经济增长点。无线视频传输是移动互联网时代视频传输的主要方式之一。然而,在无线传输的情景下,移动智能设备能源和无线传输信道都是非常紧缺的资源。现有的解决方案分别是从视频编码和传输协议设计来对无线视频的传输进行优化,但是,现在广泛应用的视频编码方案的帧内预测和帧间预测算法的计算代价过高,对于计
农田水利工程是当代农业发展的根本动力,关系着我国农业能否长远稳定发展,同时对农田水利建设稳定用水、实现水资源利用最大化具有十分重要的作用。然而,笔者在调查中发现,目前农田水利工程规划设计中存在工程规划设计前期没有实地勘察、设计与实际情况差异较大等一系列问题。基于此,笔者深入分析了农田水利工程规划设计中存在的问题,提出了加大施工前的实地考察力度、科学分析农田水利灌溉规划设计、强化农田水利工程的监管力
随着信息化社会的逐渐深入,云计算技术作为计算机领域的前沿技术之一,也在逐渐迈向成熟。在云计算模式中,为用户提供各种服务的通常为虚拟机集群,这些虚拟机是通过虚拟化技术切割物理机产生的。虚拟机集群由云平台统一管理,按需分配的模式不仅简化了管理人员的工作流程,也使资源得到了充分利用,更是推动了桌面云和应用云的普及。用户只需要在本地终端安装云客户端便可借助远程桌面协议轻松访问云端的应用资源和桌面资源。云客