基于改进TF-IDF的百度百科词语相似度计算

来源 :甘肃科学学报 | 被引量 : 0次 | 上传用户:yahoo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于百度百科对词语相似度计算进行研究,结合TF-IDF算法和词条百度百科内容,提出一种基于改进TF-IDF的百度百科词语相似度计算方法。TF-IDF算法对文本中词语权重进行计算时,面临部分代表性较好的词语权重较低的问题,通过引进百科词条中词语分布的类别信息,包括词语在类内、类间分布对词语权重的影响改进词语权重计算,此外,根据词语在全集中出现的频率定义词语的代表性,通过计算百科词条中词语的权重因子,构建词条的相关向量,根据向量之间余弦值计算词语相似度。实验表明,相对于不使用TF-IDF方法计算权重和基于经典TF-IDF方法计算权重,结合类别信息的TF-IDF方法和定义代表性的TF-IDF方法提高了词语相似度计算的准确性。
其他文献
【正】研究背景:既往的临床治疗经验表明,短期强迫观念与行为疾病(OCD)特异性认知行为疗法(CBT)或选择性5-羟色胺重摄取抑制剂药物治疗,对儿童、青少年强迫观念与OCD具有治疗
报道了瘦银锭夜蛾(Macdunnoughia agnata)在兰州地区的新分布;初步观察了该物种在兰州地区的分布范围、为害植物种类;确认了瘦银锭夜蛾在兰州地区是以卵越冬,一年繁殖2代等生物
香港是中国神圣领土不可分割的一部分。中国共产党第一代、第二代杰出领导人———毛泽东、邓小平,代表人民意愿,先后为香港回归问题呕心沥血,并作出了重要贡献。特别是邓小平提
互动教学是提高高校思想政治理论课教学效果的重要方法,关于其研究取得了较为丰硕的成果,但也存在诸多薄弱之处,需要加强互动教学法操作层面的研究;把对互动教学的探讨与研究
目的:通过对比针刺治疗前后膝骨性关节炎患者患侧与健侧结筋病灶点红外温度差异,以及针刺治疗前后VAS、WOMAC评分的差异,观察针刺结筋病灶点对膝骨性关节炎患者红外热成像特
针对传统基线模型控制图在高维过程监控中不适用的问题,实时对比(RTC)方法将过程监控问题转化为实时分类问题。将集成支持向量机作为分类器运用到RTC方法中,通过设置不同参数
山东省发展住宅产业的工作思路是,以住房制度改革为动力,以解决普通居民住房为重点,以促进住房商品化为主线,以启动住宅市场为突破口,加快住宅建设步伐,推行物业管理,构筑住
目的:在《黄帝内经》清阳论治理论指导下应用温阳通脉法治疗膝骨性关节炎,观察医治后膝部疼痛缓解、僵硬改善情况及膝部生理活动的恢复情况。方法:回顾性研究解析湖北省中医
为促进辅导员职业发展, 需要加强对优秀辅导员成长历程与发展规律的研究.文章提出, 辅导员队伍建设应遵循不同阶段辅导员成长规律, 采用不同的培养方式.