基于WordNet的中英文跨语言文本相似度研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:xinwei313624094
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本相似度一直以来都是自然语言处理领域中的一个重要课题,在信息检索,文本挖掘,以及抄袭检测中都有着广泛的应用。文本相似度就是要量化两个不同文本之间的相似程度。目前大多数的研究都仅针对单语言的文本相似度,即相同语言的文本之间的相似度。然而,随着互联网的发展,世界各地各种语言的信息都实时地呈现在网络上,人们已不再满足于获取单一语言的信息,于是跨语言相似搜索,跨语言抄袭检测等日益受到研究机构的重视。通过跨语言相似搜索,可以用一种语言的文本去检索与它相似的其它语言的文本。通过跨语言抄袭检测,可以判定一篇文章是否有抄袭、翻译不同语言的另一篇文章的嫌疑。而他们背后的核心都是跨语言文本相似性度量。本文研究了跨语言文本相似度算法,即不同语言的文本间的相似性量化方法。现有的算法大多不能兼顾准确性、效率、通用性、可扩展性等方面。本文提出了一种新颖的跨语言文本相似度算法。论文的创新主要有以下三个方面:1)提出了一种独立于语言的语义中间层,并在这个中间层上实现了一种名词语义哈希编码。这种语义哈希很好地保持了词与词的相对语义距离,即语义距离与语义哈希值的差正相关。通过将不同语言映射到统一的中间层,得以将经过预处理、消歧的不同语言文本转化为中间层上的语义哈希特征序列,最终在中间层上实现跨语言的文本相似度计算。2)有针对性地提出了一种以概念相关性为主要依据的名词消歧算法,应用于从文本到语义哈希特征序列的转化过程中。与现有算法不同的是,该算法在WordNet上对两个语义之间的语义距离进行了拓展,定义了一组语义之间的语义密度,从而量化了一组语义之间的相关性。将相关性转化为语义密度后再进行消歧。此外,借助本文所定义的语义哈希,语义密度的计算复杂度以及整个消歧算法的计算复杂度都得以大幅度降低。3)提出了一种基于语义频率的特征过滤算法。并将语义频率近似地转化为WordNet上的语义深度,结合本文提出的语义哈希,最终通过语义哈希上的位操作高效地实现了特征过滤,剔除了区分能力较弱的高频语义特征。最后,以中文和英文为例对文中提出的算法进行了实验。本文所提出的跨语言文本相似度算法在设计上保证了较好的通用性和可扩展性,因此,尽管在实验中只尝试了中文和英文,若要将算法拓展到其它有WordNet的语言上也是十分容易的。在SemCor语义标注语料库上测试了本文所提出的消歧算法,结果显示该消歧算法与同类非统计算法相比具有更高的准确率。本文还对所提出的跨语言文本相似度算法在一个自建的小型中英文平行语料库上进行了实验,结果显示本文所提出的算法具有较高的准确性,跨语言相似搜索的前10项准确率达到71.7%。此外,还通过实验验证了本文所提出的特征过滤算法的有效性。
其他文献
改革开放以来,随着我国企业的发展壮大和各项管理制度的不断完善,薪水高低已不再是人们选择职业的唯一标准,企业是否具有完善的社保管理体系,已逐渐成为职工们普遍关注的重点
汉代向"河南地"(今河套地区)大规模移民并进行全面农业开发,是西北地区历史上一次成功的经济建设实践活动。本文对于这次移民开发的背景、成就和意义进行探索,并对参加开发人员的
摘要:共享经济及信息化、服务化的需求下,国有酒店的传统经营模式、组织结构等方面急需调整,国有酒店的发展需求及经营规划,将直接影响国有酒店的市场份额占比及竞争力。为进一步提高国有酒店的经营水平及市场经济效益,简要分析国有酒店的现有经营情况,从经营权分项、品牌化经营、构建信息化销售系统、调整酒店内部管理体系等角度进行策略制定,旨在为国有酒店的市场化、服务化、信息化、共享化、精细化经营、发展等方面提供微
系统介绍了回收高温冷凝水应注意的问题以及相应的科学工作方法.
我国证券行业发展至今,已走过了20年的历程,期间证券行业得到了长足发展,证券公司的经营管理水平也在不断提高,但与国际大型投行相比还是有较大差距。随着金融全球化的加深,
基于已有的理论和结论,分析了脉冲压缩加相参积累体制提高舰船警戒雷达探测隐身目标能力的可能性,对由于大时宽带宽积而引起的特殊问题进行了简单扼要的讨论,并针对舰船警戒雷达
<正>1主要成份舒肝解郁胶囊的主要成份是贯叶金丝桃、刺五加,该药作为一种纯中药复方制剂,在抗抑郁方面有应用成效。而成份之一的贯叶金丝桃提取物的抗抑郁作用已得到了现代
通过更换净化器内的垫层材料和降低凝结水的温度,将除油凝结水泵房出水的SiO2含量控制在规定范围内,并将之用于除盐水站的再生系统.改造后再生系统的除盐水温度由原来的14℃
理解公共管理的社会性内涵的要求就是对公共管理的社会性本质要具有一定的看法和研究,虽然我国有关公共管理的研究在国际上也不落后于人,但是在公共管理的内涵上确实是研究得
结合扬子石化高压加氢裂化装置的实际情况,通过装置的能量平衡测试,对加氢裂化装置的用能特点进行分析,并以用能分析为依据,优化能源管理,降低装置能耗。