语义相似度的混合计算方法

被引量 : 0次 | 上传用户:joinsoft
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能和自然语言处理的迅速发展,相似度计算已成为语义消歧、信息提取、信息检索、文本分类、自动问答、数据挖掘等基础应用的亟待解决的问题。伴随各个领域研究的不断深入,相似度计算的对象也由之前的词共现相似、语法结构相似上升到了语义相似,而精准高效的语义相似度计算成为了一个亟待解决的问题。当前语义相似度算法主要是基于本体词典或知识库的规则方法以及基于大规模语料库的统计方法。其中,基于规则的方法主要利用词典或知识库中的本体树或图的结构或者本体之间的共现属性数目。而基于统计的方法又分为利用知识库和不利用知识库的方法。其中利用知识库的统计方法由于更加全面且一定程度上忽略了知识库中的噪音信息,在这些方法中取得了最优的效果。但该方法面临着由于知识库中不同主题信息收录数目不均衡而导致的语义计算结果基准不一致、知识库中的低频词语料不足等问题尚需解决。本文分析了基于本体语义词典的规则化方法和基于语料库的统计方法的优劣之处并取长补短,建立了利用维基百科的中英文数据库和知网(HowNet)语义词典,构建显示语义分析(Explicit Semantic Analysis, ESA)算法模型,并结合传统基于知网的语义相似度计算模型的词汇层面规则与统计混合的计算方法。并针对词汇语义分布不均衡的问题,提出了基于停用词(Stop Word)的语义相似度改进算法。在句子层面,将句法信息、编辑距离与语义相似度计算进行融合,有效的改进了句子层面的语义相似度效果。本文提出的语义相似度混合计算方法,在词汇和句子层面的中英文通用测试集上均取得了优于之前同类算法的结果,能够直接应用于如通用自动问答系统等应用中。
其他文献
本论文概括介绍了当今国内外的建筑节能形式和政策,对多年来国内外发展起来的各种节能建筑材料进行了较详细的介绍和优缺点对比分析,着重介绍了一种新型节能环保墙体材料稻壳砂
针对现有显示屏幕为1m2的LED广告屏需要大量半导体发光二极管构成像素点,成本比较高这一现象,设计了一种基于单片机的旋转式LED广告屏。广告屏采用动态逐列扫描的方法,利用人
近年来我国能源消耗剧增,其中建筑能耗约占总能耗的30%。建筑节能改造中,外墙保温材料的地位举足轻重,但是由于目前常用的聚苯乙烯、聚氨酯泡沫保温材料极易燃烧,酚醛泡沫虽难燃
激光针灸是中医针灸现代化过程中现代科技与传统中医针灸相结合的产物,激光针灸在临床上主要作为传统中医针灸的辅助治疗工具。中医针灸对多种疾病都有很好的治疗效果,但其存在
近代以来,为实现男女平等,我国妇女运动高潮迭起,经过多代人的努力,妇女的经济、政治、社会、家庭等地位都得到了巨大的提高,但在建设社会主义和谐社会的大背景下,我国现阶段依然在
翻译理论界关于文学作品的可译性问题一直存在着激烈的争论。概括起来,大致有以下几种意见,1、文学作品是可译的,2、文学作品是不可译的,3、文学作品是可译的,但是是有限度的。本
随着新技术的发展与引进、城市产业结构的变化,众多工业企业出现关、停、并、转的情况,大量闲置的工业建筑在我国出现。为了更好地利用这类建筑在结构性能、历史文化等方面存有
激光测风雷达是通过向大气中发射激光,通过接收激光与气溶胶和大气分子发生散射的回波信号,通过F-P标准等鉴频系统具探测回波信号的多普勒频移,从而反演出大气风场。光学系统的
探索Gamification(游戏化)教学与来华留学生《中医诊断学》课程的结合应用;探讨Gamification的概念及内涵、当前来华留学生《中医诊断学》教学现状与存在问题、Gamification
交通运输业是首批进入"营改增"试点的行业,其税改的减税效应与其他行业有着显著差异。通过对"营改增"后交通运输业整体税负及财务影响的测算可以看出,"营改增"并未使交通运输