【摘 要】
:
在信息化不断深入、互联网越来越普及的今天,各种形式的文本数据正以惊人的速度增长,由此带来的数据拷贝问题也变得越来越严重。对于企业或组织来说,大量的重复数据导致存储
论文部分内容阅读
在信息化不断深入、互联网越来越普及的今天,各种形式的文本数据正以惊人的速度增长,由此带来的数据拷贝问题也变得越来越严重。对于企业或组织来说,大量的重复数据导致存储和检索的效率降低;对于互联网网站来说,大量的抄袭严重影响数据生产者的权益和积极性,不利于整个互联网的良性发展;同时,数据拷贝对于搜索引擎的效果也造成了一定的负面影响。对于文本拷贝检测研究来说,该领域的研究方向主要分为两部分:1)文本表示,2)效率和可扩展性。前者主要研究如何从文本中抽取相关特征,用这些特征来代表文本,从而更好地进行拷贝检测;后者在大规模数据的背景下主要研究如何高效地检测拷贝文本。然而,在很多研究中,这两个方向并不是孤立的,前者会为后者服务,一个高效的拷贝检测方案可能需要特殊的文本表示方法。此外,对于不同的应用场景,进行拷贝检测的颗粒度也有所不同;对于颗粒度更小的拷贝检测,如句子级别的拷贝检测,它对效率和可扩展性的要求将更高。本文主要的研究内容同样包括这两方面,具体如下:1)首先,本文提出了一个完整的拷贝检测框架,包括主要的流程以及拷贝检测算法;2)其次,本文详细讨论了用哈希编码来表示文本的可行性,并且发现已有的哈希编码方案在准确率方面仍有着较大的提升空间:基于哈希编码空间有限,需要充分利用编码空间这一事实,本文提出了一个哈希编码学习方案,并且通过实验发现,该方案所得到的哈希编码确实是更优的,能够大幅提升检测的准确性;3)最后,通过在GPU上实现最为耗时的关键算法,取得了超过1500倍的加速比,同时兼具良好的可扩展性。
其他文献
目的:观察心衰宁对缺血性心肌病型心力衰竭舒张功能不全的临床疗效。方法:对患者分别用西医基础治疗(30例)和西医基础治疗加中医药治疗(30例),观察治疗后两组中医症候疗效、超声心动
灵活燃料发动机作为新能源汽车的一种,目前正在全球普及,以巴西及北美应用最为广泛,普通的汽油发动机经过电子控制系统的重新设计匹配就可以作为灵活燃料发动机使用,因此灵活
本文从中美能源安全战略的角度对中美关系进行分析,分析的主导视角是中国的能源安全战略。冷战结束后,中美关系成为国际社会中最重要的双边关系。中美两国在多方面进行合作,
本文在汉代政区地理和政治史研究的基础上,从构建背景,形成、演变直至瓦解的历史过程,以及在帝国实际的政治进程中所起的作用与影响等方面,对汉代的关中本位政治地理进行了探
药物中的杂质指任何影响药物纯度的物质,包括有机杂质、无机杂质和残留溶剂。无机杂质和残留溶剂的研究及检测方法相对比较成熟,方法的通用性比较强,控制标准也比较明确,目前
本文的宗旨是通过近二十年来中国大陆发生的敌意并购或准敌意并购案例的治理效果分析,探究敌意并购作为外部治理机制和并购手段与治理效果的相关性。根据传导机制的理论分析
本文是在科学发展观的引领下,思考如何"以人为本"地做好大学生思想政治教育工作,笔者认为其关键是:要在传承的基础上做好发展,在发展的基础上力求专业。
作为一种特殊的社会组织,女性社会组织具有一般社会组织的共性功能与影响。但比一般社会组织更具优势的是,女性社会组织具有弥补国家对女性群体的公共管理服务供给不足方面发
第一部分:可注射性新型葡聚糖-明胶复合支架的实验研究目的:检测可注射性新型葡聚糖-明胶复合支架与传代分离获取的滑膜间充质干细胞的相容性。方法:消化滑膜组织,传代分离以获
高层管理团队的注意力是组织关键的稀缺资源,高管如何在一系列潜在的战略议题之间分配他们的时间和注意力,在某种程度上决定组织的战略方向和行为。Dutton和Ashford提出了议