流式RDF数据多关键词并行检索研究与实现

来源 :福州大学 | 被引量 : 0次 | 上传用户:5511
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
RDF(Resource Description Framework)是由W3C(万维网联盟)提出的用于描述语义万维网资源的框架。随着链接开放数据(Linked open data)和DBpedia等项目的全面展开,开放的RDF数据不断的涌现出来。数据的处理和响应的时间越来越短,数据变化的速度也越来越快,对流式数据的高速性(velocity)处理便显得非常遺要。因此,研究大数据的实时分析和流式处理成为一个非常有意义的研究课题。本文的主要工作内容如下:首先,本文提出一种结合本体查询子图的多关键词并行搜索算法MKPSA(Multi-keyword Parallel Search Algorithm)。该算法结合RDF的本体信息和分布式Redis数据库,设计海量数据的存储方案;通过对关联类图的剪枝和融合操作,构建关键词集合对应的本体查询子图集;提出评价函数,并据此对本体查询子图进行评分排序,确定查询优先顺序;结合Hadoop计算框架和存储方案实现分布式并行搜索,返回前Top-k查询结果。接着,针对MKPSA算法需要多次开启MapReduce启动多个job造成集群性能浪费这个缺点,以及数据量存储过大、无法实时搜索流式数据的问题,本文提出一种流式RDF数据多关键词并行搜索算法MPSASR(Multi-keyword Parallel Search Algorithm For Streaming RDF Data)。该算法首先针对流式数据的特点,设计一种分布式存储方案,并结合哈希编码压缩策略对RDF数据的前缀进行编码压缩,以减少数据存储占用的内存空间;然后结合Spark框架,设计分布式实时流查询算法,在MKPSA算法构建查询子图集的基础上,实现数据的实时流入和Map的查询迭代,获得实时的前Top-k查询结果。最后,将本文提出的MPSASR算法运用于“军营网络化信息服务平台”项目中。通过该项目在线学习、在线教育、在线考评实时产生的数据积累,形成了大量的官兵学习数据集。使用本体构建方法构建整个项目的知识库,结合本文提出的MPSASR算法,对项目中的流式数据实现了多关键词搜索功能。
其他文献
银行账号质押是在我国实行改革开放,国内大举进行招商引资的背景下,由跨国公司带入我国的。最初此担保方式只能作为一种辅助保障措施,质押人为取得巨量资金,将质押项目的所有资产出质,账户作为资产的一个组成部分一并质押。可随着经济社会的发展,不仅大额资金需求量增加,小额贷款也得到了迅猛发展,而这种设立快捷,实现方便的担保方式,自然而然的便受到了社会的青睐。主要形式有三种:银行存款自主质押、质押合同组成部分、
新技术的应用与中国经济的快速发展两个趋势使汉语远程教育占据越来越重要的位置。2008年Dave Cormier自创的慕课平台(Massive Open Online Course,MOOC)从2012年开始成为一
随着社会经济的发展,工业化和城镇化建设造成的空气污染日益严重,PM2.5作为空气污染物的重要组成部分,其浓度值的不断增加给人们日常的工作生活带来了极其严重的困扰。相关研
数控机床是制造业的基础,提高工件的加工精度是制造业不懈的追求,而高精度的数控机床是实现该目标的必经途径。数控机床的几何误差是影响工件加工精度的重要因素,尤其对于高
矩阵补全是利用观测到的矩阵元素去估计未知元素,从而恢复整个矩阵。它被广泛应用于协同过滤,推荐系统等机器学习应用中。在这些机器学习应用中,通常用一个矩阵来存储数据。这些数据矩阵通常是低秩的,而且有一些缺失数据,如何通过观测到的数据,应用矩阵低秩的特性,来预测这些缺失数据从而恢复矩阵就是低秩矩阵补全的问题。推荐系统是矩阵补全的一个典型的应用,例如在MovieLens中,存有部分用户对一些电影的打分,矩
口腔白斑是指发生在口腔黏膜上的白色或灰白色的斑块状损害,口腔扁平苔藓是一种常见的慢性口腔黏膜皮肤性疾病,两种疾病均属于非传染性口腔斑纹类疾病。其中,口腔白斑属于癌
近几年,区块链技术越来越受各国政府和研究机构的关注和重视。智能合约作为区块链2.0的代表技术,以一段可编程的代码形式部署到区块链上,且一旦部署成功就无法修改。如果智能
对于移动机器人而言,传统的同时定位和地图构建技术(SLAM)已经提供了较好的定位和建图的基础。移动机器人可通过视觉里程计对自身的位姿进行估计,通过滤波以及非线性优化算法
在多核技术的发展过程中,如何优化任务调度问题,提升多核并行计算能力一直是人们关注的重点问题。在传统的任务调度问题研究中,诸如任务复制、任务聚簇、列表调度等传统方法,
近年来,随着计算机系统与网络已经深入到社会生产活动的方方面面,当今社会的信息化程度不断提高,在享受利用计算机系统与网络来交换信息所带来的巨大便利的同时,信息安全问题