基于改进的TF-IDF方法的文本相似度算法研究

来源 :泰山学院学报 | 被引量 : 0次 | 上传用户:SAGDGJGU
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统的文本相似度算法采用关键词频率表示该关键词在文档中的重要程度,关键词在类别内不同文档中的频率波动使得关键词的权值产生不稳定性,导致文本之间的相似度运算不够准确.本文提出一种基于词语信息量的改进的TF-IDF算法计算关键词的权值,将得到的权值运用于向量空间模型和马尔可夫模型中,分别得到基于向量空间模型的基础相似度和基于马尔可夫模型的语义相似度,将语义相似度和基础相似度相结合,得到文本之间总体相似度.将改进的文本相似度算法运用于文本分类,实验结果表明,在搜狗文本分类语料库基础上,改进的算法相对于传统的文本
其他文献
一、1—5月工业经济运行情况今年以来 ,工业经济继续保持良好发展势头。尽管从4月下旬开始 ,非典型肺炎疫情给部分地区和企业生产造成不利影响 ,但在党中央、国务院的领导下
由于聚合物的存在,油田采油污水处理难度增大,严重影响了污水的达标回注或排放.本文综述了聚合物对采油污水处理的影响,含聚采油污水处理技术进展,并对含聚采油污水处理技术
我国农村土地制度从“两权分离”到“三权分置”的改革放活了土地经营权,对破解“三农”问题以及优化农业产业结构是一个重大突破。“三权分置”改革的实质是解决农村土地资
氯气与钠化合:钠比锑的金属性强,为什么锑粉与氯气化合不用加热,而钠与氯气化合反而要加热呢?钠新切开的断面很快的与空气作用,表面形成化合物的薄层。怎样使学生观察到钠与
期刊
高职院校在立足时代发展特征、职业教育特征的基础上,将军营文化有机融合到职教育人中,以适应新时代的要求。文章通过分析新时代背景下高职院校军营文化育人模式的意义、内涵
主要叙述用五层塑料复合膜无膜包装UHT灭菌牛奶的生产加工技术。
中国经过几十年的经济发展,各个行业都获得巨大的发展,企业集团形式成为企业的主要组织形式之一,在过去的30多年内房地产行业当之无愧是发展收获最大的行业,整体规模占总GDP
目的观察发散式体外冲击波(rESW)结合常规康复训练对老年脑卒中病人下肢痉挛及步行功能的影响。方法采用随机数字表法将50例老年脑卒中病人分为对照组和观察组,每组25例。2组
目的研究中医临床路径护理对肝癌介入术后临床疗效及生活质量的影响。方法选取了我院收治的2000例肝癌患者作为研究对象,然后对其实施不同的护理干预。结果采取相应的护理干
目的 探讨早产儿生后12h和7d内血胃泌素(GAS)和生长抑素(SS)水平的变化。方法 选择新生儿科收治的早产儿70例,按胎龄分为≤32周组、33-34周组、35-36周组;选择同期出生的健康足月