【摘 要】
：
传统的文本相似度量方法大多采用TF-IDF方法把文本建模为词频向量,利用余弦相似度量等方法计算文本之间的相似度.这些方法忽略了文本中词项的语义信息.改进的基于语义的文本
【机 构】
：
中山大学信息科学与技术学院,广东金融学院计算机科学与技术系
【基金项目】
：
国家自然科学基金(61033010);国家科技重大专项基金(2008ZX10005-013);广东省科技计划项目(2009A080207005,2009B090300450,2010A040303004)资助~~
论文部分内容阅读
传统的文本相似度量方法大多采用TF-IDF方法把文本建模为词频向量,利用余弦相似度量等方法计算文本之间的相似度.这些方法忽略了文本中词项的语义信息.改进的基于语义的文本相似度量方法在传统词频向量中扩充了语义相似的词项,进一步增加了文本表示向量的维度,但不能很好地反映两篇文本之间的相似程度.文中在TF-IDF模型基础上分析文本中重要词汇的语义信息,提出了一种新的文本相似度量方法.该方法首先应用自然语言处理技术对文本进行预处理,然后利用TF-IDF方法寻找文本中具有较高TF-IDF值的重要词项.借助外部词典分析词项之间的语义相似度,结合该文提出的词项相似度加权树以及文本语义相似度定义计算两篇文本之间的相似度.最后利用文本相似度在基准文本数据集合上进行聚类实验.实验结果表明文中提出的方法在基于F-度量值标准上优于TF-IDF以及另一种基于词项语义相似性的方法.
其他文献
结肠直肠癌是一种常见的消化系统恶性肿瘤，miRNA在该疾病的发生和发展中都具有作用。据报道，miRNA能够识别靶基因mRNA的3’UTR，抑制蛋白翻译，从而调节目的基因的表达及参与生物体
中国邮政速递物流公司,前身是1980年成立的中国速递服务公司,并在2010年时合并了中邮物流有限责任公司,成为国内最大的快递物流综合服务商。经过多年的发展,中国邮政速递物流
航材是航空器材的简称,包括飞机的各种零部件。民航飞机结构复杂,零部件种类数量巨大,航材对飞机的安全运行具有直接的影响。航材不仅是保障飞机安全运营的关键因素,而且直接
讨论了多路径效应对GPS共视比对的影响及削弱其影响的方法。结合综合原子时项目的需求,研制了适用于单频GPS接收机的天线扼流圈,并用零基线比对方法进行了测试。结果表明,研
计算机辅助诊断算法是医学图像处理领域的研究热门。全髋关节置换前医生需要手动对比CT与股骨柄图像进行诊断。提出了一种基于CT图像的人工髋关节置换辅助诊断算法。首先统一
<正>糖尿病是一组以慢性血葡萄糖水平增高为特征的代谢性疾病,是由于胰岛素分泌和/或作用缺陷所引起。主要分为两型,1型为胰岛素绝对缺乏,2型常为胰岛素抵抗为主伴有胰岛素分
宋代晁公武的《郡斋读书志》是我国现存第一部解题式私家书目,它收书丰富,体例完备,学术性强,具有极高的目录学价值,对后世目录著作产生了重大影响。《郡斋读书志》之后,存于
<正>非酒精性脂肪肝的发病率越来越高,已是目前公认影响到发达国家以及发展中国家健康升级的问题[1~3]。糖尿病人群中的非酒精性脂肪肝患病率更高,2型糖尿病(type 2 diabetes
<正>假装游戏及其界定:早期对假装游戏的概念界定倾向于现象描述,随着研究的深入,假装游戏的概念界定也更加详尽全面。假装游戏是一种有意识的、但不含欺骗目的的游戏形式,行