MapReduce框架下基于范围的空间文本相似连接

来源 :小型微型计算机系统 | 被引量 : 0次 | 上传用户:sunwen_fly
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于范围的空间文本相似连接是一种重要的操作,在现实生活中具有广泛的应用,例如社交推荐,但是随着数据量的迅猛增长,单机模式不能有效地对大规模的数据执行该操作.基于此,本文研究在MapReduce框架下实现该操作的方法,该方法由两个阶段构成,第一阶段产生文本标签的整体序,第二阶段进行相似连接操作.提出基于M限制矩形的数据划分策略以减少数据的复制规模,既减少了每个节点的计算量,又裁减掉了部分不相似的对象对.提出基于网格的冗余避免策略,避免了相似对象对的重复计算.最后,通过实验验证了本文所提方法的有效性.
其他文献
目的:分析高尿酸血症和痛风的流行病学及影响因素。方法:研究阶段为2016年1月~2018年1月,共纳入950例研究对象进行调查,开展问卷调查、体格检查及实验室检查。结果:950例研究
选择11例确诊为难治性梅尼埃病患者,采用针刺眩晕穴和内关治疗,评估治疗前后眩晕症状改善情况。随访时间为6个月~2年。11例患者中5例临床痊愈,3例显效,2例有效,1例无效,总有效
长期以来有关城市是三次大分工产物的说法存在误区,城市的产生早于手工业从农业中分离出现,更早于商业从手工业中分离出来。此外在我国学术界盛行的三大分工理论存在一个明显
市场经济与城市犯罪李涛目前,我国正处在由原来的计划经济体制向市场经济体制转轨时期,整个社会发生着急剧的变革。在这一背景下城市犯罪呈现出一些新的特点:城市犯罪率呈上升趋
档案管理是军队和地方各行业工作的重要组成部分和技术保障基础,档案工作者是档案管理的实践主体。近年来,随着军队体制改革进程的不断深化,军队各型装备飞速发展,信息化武器
2006年5~10月,为配合南水北调中线工程文物保护项目的开展,郑州大学历史学院考古系对新乡市凤泉区老道井墓地老道井墓区所占干渠墓葬进行了发掘,清理战国墓93座,为研究豫北地
<正>崔亚正:挖掘人物真实的内心世界真实地表现人物是人物类纪录片的第一要义,也是一个是极为复杂的命题。人物纪录片挖掘人物内在的深度是判断一部人物类纪录片艺术水平的重
2005年4~12月,河南省文物考古研究所配合南水北调中线工程,发掘了荥阳市薛村遗址,发现了二里头文化晚期至二里岗上层时期聚落一处及其大量的相关遗迹。汉代以后,遗址所在地沦
由于半导体激光器与其他激光器相比具有体积小,寿命长,电-光转化效率高,可靠性强等优点在近年来得到广泛应用。但是由于半导体激光器自身有源层结构的特点,其输出光束在二维方向上对称性很差,快慢轴方向上的发散角和发光宽度都有较大差异,从而导致快慢轴光束质量差别较大,对直接应用半导体激光器造成了限制。因此研制高效的光束整形系统匀化光束质量进行光纤耦合,从光纤中输出的高亮度,高光束质量的激光具有极大意义,并且
根据国际公共运输联盟有关城市活力数据库的实例,研究分析城市拓展规划与城市轨道交通规划一体化的理论、实践及其经济意义。