一种用于中文文本查重的双因子相似度算法

来源 :计算机仿真 | 被引量 : 0次 | 上传用户:divide2058
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了提高搜索引擎的检索效率以及加强知识产权保护,结合汉语语言学以及自然语言处理的研究成果,提出了一种用于中文文本查重的算法。通过引入“动词中心词”的概念,扩展停用词的范围,将文本中的部分动词组成动词序列作为文本特征串,结合串匹配算法,计算出中文文本间语法相似性。同时根据IFIDF方法提取文本特征并进行权重计算,计算出中文文本间的语义相似性。结合文本间语法相似性和语义相似性得到文章的相似度,可以判断两篇中文内容的相似性,有效地进行重稿检测。
其他文献
研究背景:年龄相关性黄斑变性(AMD)是一种以视网膜色素上皮与脉络膜之间玻璃膜疣沉积(干性AMD),继而引发脉络膜新生血管(CNV)(湿性AMD)为临床特征,可导致中心视力严重损害的
目的大豆是重要的粮食和经济作物,大豆中富含高质量的蛋白质和油脂、矿质元素以及大豆异黄酮等生物活性物质,对人体健康具有一定的保健功效。我国盛产大豆,并且产区跨度大,不同地
GB/T1801--1999在附录中规定了基本尺寸大于500mm的零件可采用配制配合,配制配合还可以用在公差等级较高,单件小批量生产的配合零件中。在我国的一些特殊行业,如模具行业、机修行
课程教学是学校教育工作的重中之重,教材决定着课程教学的内容与质量。教材作为学生学习知识、发展技能的材料,作为教师使用的教学材料,是教与学的必备品,在学校课堂教学中发
2009年7月8~10日,第六届亚洲风能大会暨国际风能设备展览会(WindPowerAsia,简称“WPA”)将在中国国际展览中心隆重举办。随着国家对风能建设的重视程度不断提高,经过半年的筹备,该届
习近平总书记对新闻舆论人才队伍建设提出的相关要求,既体现了人才队伍建设的战略性、时代性、系统性,又回答了什么是中国特色社会主义新闻舆论人才、怎样建设中国特色社会主
《平面向量》是高中数学新增加的内容之一,文章就这部分内容的教学进行了研究。
博特PCBN刀具广泛应用于切削淬火钢、铸铁和烧结铁合金(sintered powder metal,简称PM材料)等硬质黑色金属材料,能提高生产效牢和降低生产成本。针对烧结铁合金的加工性能差的特
背景:我国属乙型肝炎(乙肝)病毒的高流行区,至少有7亿人已感染过乙型肝炎病毒(HBV),约有1.3亿人携带HBsAg,他们中约有2000万人将死于乙型肝炎或与HBV感染相关的其他肝脏疾病。我国每
以问卷的形式,对湖南工学院380名大三学生进行了调查,从就业认知、就业态度、就业标准、就业取向四个维度详细解读了地方本科院校大学生就业观现状,提出了针对性的教育应对措