近年来科学信息技术的飞速发展大大提高了数据生产的速度,大量的数据在带来巨大的存储压力同时,也带来了巨大的研究价值与商业价值。面对大数据集成的迫切需求,研究者们提出分布式文件系统解决存储问题并且研发新的计算框架来缓解大数据计算的压力。目前各方面性能较好的计算框架是伯克利实验室提出的Spark计算框架。相似性连接技术是数据集成以及实体识别等应用的一个重要步骤,它将在单一数据源或者多个数据源中找到满足相似度阈值的记录对。但是随着数据量爆炸性增长,单机的相似性连接很难满足人们对处理效率的需求,因此,需要面向大数据的相似连接算法来解决目前的问题。本文以大量真实论文数据为研究对象,并对现有的相似性连接技术进行分析与研究。首先,研究分布式前缀索引过滤。在现有的分布式前缀索引基础之上,利用Spark实现新的分布式相似连接,并且依据分布式计算模型特点,提出了 O-T算法,该算法可以减少候选集合的大小。同时,提供了基于Spark多表相似连接RSJoin的分布式计算方案。根据以前缀索引为基础进行扩展的AdapJoin的实现原理,将其移植到分布式环境下进行计算,实验证明AdapJoin在分布式环境下计算有效。其次,研究基于位置信息过滤的特点,提出了双缀过滤相似连接PSJoin及其改进算法相似连接PSJoin+。双缀过滤算法利用一条记录前缀和另一条后缀之间的共同元素的位置信息,对相似度进行估算,使估计的相似度的上限贴近真实值。并且通过实验可证明其在分布式计算中有效性。最后,研究基于权重信息过滤的特点。详细分析了关于权重计算的特点以及与前缀过滤之间的联系与区别,根据token赋值权重特点提出了三种关于基于token权重的分布式计算的过滤方法,WTBFilter、WTFilter和WTPFilter,并依靠Spark平台实现分布式相似连接WTBJoin、WTJoin和WTPJoin,特别是WTPFiler利用token权重值进行过滤,有效地减少过滤阶段候选集合大小。并且通过实验验证WTJoin 和 WTPJoin 有效性。综上,本文以前缀过滤为基础,利用分布式计算实现所提出的算法并且通过实验证明所提出算法的有效性。