基于两字词簇的汉语快速自动分词算法

来源 :情报学报 | 被引量 : 0次 | 上传用户:xdjxbzz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文提出了一种快速汉语自动分词算法。其主要思想是利用汉语中两字词占75%的统计规律,提出了两字词根和两字词簇的概念。算法把三音节以上的词用两字词簇来压缩处理,也就是把长词的扫描范围限定在词汇量很小的词簇内,从而不仅提高了分词速度,而且彻底解决了传统最大匹配分词算法中最大匹配词长的设定问题。另外,本文还提出了用两字词簇快速检测交叉歧义的算法。本文的分词算法简洁、速度快、易于实现 This paper presents a fast Chinese automatic segmentation algorithm. Its main idea is to make use of the statistical law of 75% of Chinese words, and put forward the concept of two-word roots and two-word clusters. The algorithm compresses the words above three syllables by two word clusters, that is, limits the scanning of the long words to the clusters with small vocabulary, which not only improves the speed of word segmentation, but also completely resolves the traditional maximum matching word segmentation The problem of setting the maximum matching word length in the algorithm. In addition, this paper also proposed an algorithm for rapidly detecting cross-ambiguity with two-word cluster. The segmentation algorithm in this paper is concise, fast and easy to implement
其他文献
柳诒徵(1880-1956),字翼谋,晚号动堂,又号龙蟠迂叟、山髯,江苏镇江人,与江南图书馆坐办(即副馆长)陈庆年同乡,以聪慧好学而深为这位柳冶徵父亲的学生所器重。1991年,经陈介绍,柳冶徵到南京
胰岛素依赖型糖尿病(IDDM)与机体的免疫功能紊乱有密切的关系。胰岛细胞抗体(ICA)是IDDM患者主要的免疫学标志之一。可采用免疫组织化学技术作ICA定性检测。我们首次应用“O”型血正常人胰腺石蜡切片作为抗原,ABC法(卵白素-生物素化过氧化物酶复合物法)检测血清中ICA。结果:17例IDDM患者,阳性检出率52.94%;20例NIDDM及20例非糖尿病患者无阳性反应。与国外报道比较,其方法的可
磺胺嘧啶银(SSD)的局部应用可以预防灼伤伤口脓毒症,但引起白细胞减少达3~5%.为了进一步阐明白细胞减少的原因,作者在鼠实验中观察了SSD对周围血白细胞总数、粒性白细胞和骨髓
糖尿病的血管合并症YasuoAkanuma(赤诏安夫)虽然糖尿病微血管合并症详细发病机理还不清楚,糖尿病代谢和糖尿病微血管病病因却密切相关。非糖尿病人的肾脏移植给糖尿病病人一段时间后可发生糖
天然的坝基中总是存在不同程度的地质缺陷,坝基的加固处理是大坝建设的重要内容。应用三维有限元数值模拟方法,采用模拟岩石体渐进破坏过程的超载法和强度折减法,对含软弱夹
实验性铝氟联合中毒大鼠骨骼形态计量学研究于燕妮,肖开棋,曹序茂,邓传静,刘启兰,周琳业,魏赞道,方士杰,李福成(贵阳医学院病理学教研室贵阳医学院预防医学系贵州省六盘水市卫生防疫站
今年初,诺顿出版公司的德雷克·麦克菲利先生邀请美国著名文化批评家小施莱辛格(ArthurM.Schlesinger,Jr.)开列一份理解和把握美国历史的最扼要的必读书书单,施氏欣然应允。书单开出,仅13部著作。美国的几位开国元勋,如亚历山大·汉密尔顿...
斑蝥素中毒1例山东省立医院儿科(250021)赵志毅,李雪波,杨波1病历简介患儿男,2岁。因肉眼血尿伴躁动不安20h急诊入院。患儿9天前头部被狗咬伤,县医药作头枕部皮肤缝合止血,当天、第3天与第7天分别注
七特疗法治疗类风湿性关节炎300例临床疗效总结武警北京总队一支队卫生队万平,安全会,万方圆(北京100045)我队中医科,1988~1993年运用中医祖传《七特疗法》,根据辩证施治的观点用《七消散》口服、《九
高寒地区健康青年及老年弦脉脉图分析青海医学院李杰脉诊是中医诊断疾病的独特方法,受到历代医家的重视,但由于影响脉象的因素多,脉象的变化是复杂的。为了探讨脉象在高寒地区不