字典与统计相结合的中文分词方法

来源 :小型微型计算机系统 | 被引量 : 0次 | 上传用户:chen0507
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
提出了一种字典与统计相结合的中文分词方法,该方法首先利用基于字典的分词方法进行第一步处理,然后利用统计的方法处理第一步所产生的歧义问题和未登录词问题.本算法在基于字典的处理过程中,通过改进字典的存储结构,提高了字典匹配的速度;在基于统计的处理过程中,通过统计和规则相结合的方法提高了交集型歧义切分的准确率,并且一定条件下解决了语境中高频未登录词问题,实验结果表明,由本文算法实现的分词系统DS fenc i的分全率达99.52%,准确率达98.52%.
其他文献
<正>词语教学是小学语文的重要组成部分,也是阅读教学的主要内容。人教版从第七册教材开始,重点词语不再以"词语表"的形式出现了,取而代之的是将每组课文中的词语汇总陈列,称
自动雷达目标识别作为一种自动目标识别技术,受到各国的广泛关注和重视,已成为各国未来武器的重要组成部分。采用不同的雷达作为观测手段,收集到目标的散射信息量会不同。使
随着电力体制的改革,中国电力市场竞争日益激烈,这给我国发电企业管理变革带来重大机遇与挑战。本文首先在和谐共生理论的指导下,对发电企业和谐共生概念进行界定;其次结合发
为解决置信规则库中由于前提属性数量过多引起的"组合爆炸"问题,前人已经提出了许多维度约简的规则约简方法.然而,这些方法在算法实现的难易程度、筛选属性的合理性、规则约
<正>理答作为课堂问答的一个环节,是主要的教学行为之一。它既是一种教学行为,也是一种教学评价。它是教师对学生的回答作出的即时评价,是一种重要的课堂教学"对话"。课堂,是
根据目前歼击机电子设备增加、热负荷增大,对环境控制系统制冷需求量增大的特点,使用蒸发制冷循环系统,就显得尤为重要。而针对这套全新的系统,在方案完成之后,需要对其进行
目的:探讨用介入溶栓术治疗下肢深静脉血栓的效果。方法:将贵州省人民医院接诊的下肢深静脉血栓患者114例作为研究对象。将其随机分为介入组和全身组(57例/组)。为介入组患者
<正>一、开发背景企业信用信息是一种资源。企业的信用缺乏,信息不对称,已成为银行信贷风险的主要诱因,部分企业为顺利通过银行的层层信贷审查,隐瞒其真实经营业绩和风险状况
贝卡里亚是刑法学界家喻户晓的伟人,《论犯罪与刑罚》是誉满古今的经典名著。此人此书传承的思想引领了几个时代的刑法学,并继续教育着21世纪的刑法学人。贝卡里亚对封建刑法
黑格尔辩证法作为纯粹认识论和方法论的逻辑学,即哲学真理或理性精神自我展开、自我实现的抽象思维过程,不存在“神秘化”和“倒立的”问题。当黑格尔辩证法作为人类自由本质全