基于互信息和邻接熵的新词发现算法

来源 :计算机应用研究 | 被引量 : 0次 | 上传用户:xinxin3690
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如何快速高效地识别新词是自然语言处理中一项非常重要的任务,针对当前新词发现存在的问题,提出了一种从左至右逐字在未切词的微博语料中发现新词的算法。通过计算候选词语与其右邻接字的互信息来逐字扩展,得到候选新词;并通过计算邻接熵、删除候选新词的首尾停用词和过滤旧词语等方法来过滤候选新词,最终得到新词集。解决了因切词错误导致部分新词无法识别以及通过n-gram方法导致大量重复词串和垃圾词串识别为新词的问题,最后通过实验验证了该算法的有效性。
其他文献
目的探讨有氧运动干预对维持性血液透析患者的体能、体力活动水平、运动自我效能、疲乏状况、生理生化指标、生活质量的影响效果,为今后在临床实践中实施有效的护理干预提供
本研究以水牛卵母细胞和卵泡液为实验材料,通过双向电泳、液相色谱和质谱技术分析卵母细胞体外成熟过程中以及卵泡在发育过程中蛋白质表达的差异性。论文共包括两部分,第一部
研究背景麻醉病人在术前常经历一些应激事件,比如车祸或外伤,手术前的焦虑或恐惧,有创操作以及全麻诱导时短暂出现的急性呼吸困难等。而病人一旦将这些伤害性信息获取并形成
目的:观察合理剂量的右美托咪定镇静在重度脊柱侧弯矫形术气管插管中对血压、心率、氧饱和度的影响,观察插管成功率及舒适性,评估临床工作中能否让右美托咪定成为这类患者实
伴随我国经济的飞速发展,国内城市渐渐变成人口密集以及环境污染严重的区域。近些年来,我国自然灾害频发,致使人们对人和自然共生和谐的关系重新进行审视。如今,生态危机早已
本文拟设计一种基于霍尔传感器的的简易自行车测速系统,可实时显示速度和骑行时间,并增设速度报警模块,对自行车使用者在车速过快时及时做出提醒,防止因速度过快而对骑行者和
培育公共精神是思想品德课程的价值追求,与社会主义核心价值观相统一,与立德树人的根本任务一脉相承。历史文化传承的现状呼唤公共精神培育。培育公共精神,需要正确处理个人
该文通过对清真寺建筑的整体布局,空间设计,装饰手法等方面进行对比,剖析清真寺在不同地区,文化语境下产生和发展的内涵,表达新疆清真寺与内地清真寺分属中国伊斯兰教建筑的
目的:观察原花青素对白细胞介素-1beta(interleukin-1beta,IL-1?)诱导的软骨细胞凋亡的影响,从而探讨原花青素在保护软骨细胞方面的作用。方法:1.在无菌的环境下取6周龄昆明
在激烈的市场竞争环境下,员工关系也日趋复杂,这使得越来越多的企业开始关注员工关系管理。建立和谐双赢的关系是员工关系管理的核心,员工关系管理水平也直接影响着企业的生