基于表示学习的中文分词

来源 :计算机应用 | 被引量 : 0次 | 上传用户:originalwinter
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为提高中文分词的准确率和未登录词(OOV)识别率,提出了一种基于字表示学习方法的中文分词系统。首先使用Skip-gram模型将文本中的词映射为高维向量空间中的向量;其次用K-means聚类算法将词向量聚类,并将聚类结果作为条件随机场(CRF)模型的特征进行训练;最后基于该语言模型进行分词和未登录词识别。对词向量的维数、聚类数及不同聚类算法对分词的影响进行了分析。基于第四届自然语言处理与中文计算会议(NLPCC2015)提供的微博评测语料进行测试,实验结果表明,在未利用外部知识的条件下,分词的F值和OOV识
其他文献
介绍光纤陀螺的原理、现状、关键技术问题及应用前景。 This paper introduces the principle, current situation, key technical problems and application prospect of F
在电力系统中配网自动化技术得到了积极的应用,配网自动化技术结合了通信技术、电子技术和计算机技术,能够保障配网的正常运行,保障电力系统供电的可靠性与安全性。本文对电
目的:通过测量重庆市女性青少年错(牙合)患者面部软组织厚度,分析安氏Ⅰ类、安氏Ⅱ类、安氏Ⅲ类患者之间面部软组织厚度的差异,探讨重庆市女性青少年正畸治疗患者面部软组织厚度
本文通过对引发药学人员职业倦怠的诸多因素进行分析,探寻出相应对策,从而达到降低职业倦怠的目的 ,促进药学人员的身心健康,确保药学服务的顺利实施。
背景与目的:马尔尼菲蓝状菌(Talaromyces marneffei,TM)是艾滋病常见的一种机会性感染真菌,好发于东南亚国家,在我国高发于广西和广东地区,是广西区域高发具有特色的机会性感
从语文教师品格培养、教学理念把握、文本解读、内容设计、教师口语训练以及语文教学实施等六个方面建构课程体系和教学内容,同时,突出案例教学、强化能力训练、增强见习体验
介绍了铝合金焊接的特点及国外开发和应用的铝合金焊技术的现况。
股骨干骨折钢板内固定术后失效,骨折不愈合,临床上并非少见.进一步治疗十分困难,往往需要再次内固定及长时间的石膏外固定,使病程延长,产生关节僵硬等严重并发症,使疗效不甚
目的研究前凋亡因子Bim在地塞米松诱导小鼠胸腺细胞凋亡中的作用。方法体外培养BALB/c小鼠胸腺细胞,终浓度1μmol/L地塞米松诱导细胞,透射电镜、AnnexinV/PI双染流式细胞术、
通过具体工程实例,探讨在大型石油化工企业(炼油厂)油品储运系统中,如何经济合理地确定中间原料油罐罐容,使之既能满足生产要求,又节省投资,提出中间原料油罐罐容设置的比较