基于词频统计的中文分词的研究

来源 :计算机工程与应用 | 被引量 : 0次 | 上传用户:wxjct
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
论文介绍了一个基于词频统计的中文分词系统的设计和实现。通过这个系统,可以将输入的连续汉字串进行分词处理,输出分割后的汉语词串,一般是二字词串,并得到一个词典。词典中不重复地存储了每次处理中得到的词语,以及这些词语出现的频率。这个系统选用了三种统计原理分别进行统计:互信息,N元统计模型和t-测试。文中还对这三种原理的处理结果进行了比较,以分析各种统计原理的统计特点,以及各自所适合的应用场合。
其他文献
经过改革开放前后两个阶段的探索,我国中央和地方权力配置的路径不断趋于合理化、规范化。在新的历史条件下,这一路径演变表现出了新的特点,即我国的国家结构形态在坚持中央
森林病害是指生物或非生物因素使林木在生理、组织和形态上发生的病理变化;森林害虫是指危害森林及林产品的昆虫。二者常合称为森林病虫害,可导致林木生长不良、产量和质量下
除锈、矫形、补配、焊接、打磨、着色……这样的流程,辽宁省博物馆修复师孟丹做了6年,一批批出土时锈迹斑斑甚至支离破碎的青铜器在她手下穿越几千年获得重生,有的还成为一些博
报纸
回声话语是一种有趣而普遍的语言现象 ,在言语交际中起着重要的作用 ,但其研究还没有引起足够的重视。回声话语可以分为回声问和回声感叹两种形式 ,其结构特征和语用功能都很
采用“事件-条件-动作”的数据驱动机制,利用DBMS的触发器和存储过程实现数据库变更事件的实时获取和XML数据打包,通过多个通讯代理协同工作完成异构数据库间的数据同步传输
为考察磁种絮凝对煤泥水沉降效果的影响程度,以磁种絮凝沉降速度(v)和上清液浊度(TU)为评价指标,采用三因素(磁场强度、磁种用量、聚丙烯酰胺PAM用量)、三水平的正交试验,利
为提高中小燃煤工业锅炉效率,减少污染物排放,促进中小燃煤工业锅炉的清洁高效发展,从清洁燃料替代、集中供热替代、采用先进工业锅炉技术、提高用煤质量4个减排途径对中小燃
<正>在英语中,动词不定式所表示的动作已在上文中表明时,这个不定式就可不必再重复,只留下不定式的符号to(infinitive marker to)。这样的to就叫做不定式代用词to(infinitive
视觉定位脑外科手术机器人是近年来发展起来的一种新型医疗机器人。该文首先介绍了整个视觉定位脑外科手术机器人系统的构成和手术过程,随后在传统的通过机器人机械臂点取病
随着现代社会经济的发展,对外城市形象的展示以及城市公共环境品质的提高逐渐被人们所重视。本文从两条建筑装门面装饰的四种原则出发,探索现代建筑立面装饰的形式美和意境美