基于大规模网络语料的中文新词发现技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:dlxfmc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今随着网络社交媒体诸如微博、微信等的迅猛发展,大量的网络语料也随之产生,这些网络语料都是蕴藏中文新词的富矿。中文新词发现是从文本语料中提取出已知词库里所没有的新词的过程,是中文自然语言处理领域的一项基础任务,具有重要的理论意义和实用价值。因而如何从大规模的网络语料中发现中文新词也逐渐成为研究的热点。为此,本文设计了一个基于大规模网络语料的中文新词发现框架NWH(New Word Hunter),提出了一种新的特征用于中文新词检测,并针对中文新词检测中所使用的决策模型进行了研究,主要工作包括以下三个方面:1、设计了基于大规模网络语料的中文新词发现框架NWH。该框架由候选新词集合构建模块及中文新词检测模块构成,候选新词集合构建模块对输入语料进行重复串抽取得到候选新词集合,新词检测模块计算候选新词的特征值并与决策模型相结合得到最终的新词发现结果。2、特征对于新词检测的效果具有重要的影响,本文基于信息距离理论,设计了一种用于中文新词检测的新特征——新词距离(New Word Distance,NWD),NWD能够直观且有效的衡量中文字符串到其语义的信息距离。实验结果表明NWD的新词检测效果要明显优于PMI等七种常用的特征。3、决策模型对于新词检测的效果具有重要的影响,本文使用支持向量机来作为中文新词检测的决策模型,并提出了一种新颖的获取训练数据的方法,使得采用支持向量机作为决策模型变得可行。实验结果表明结合了高斯径向基核函数的支持向量机决策模型的新词检测效果要明显优于常用的多维阈值模型。
其他文献
采用橡胶粉和环氧树脂对A级70号沥青进行改性,对加入不同成分和比例改性剂的改性沥青进行了针入度、软化点、延度试验,同时进行了低温延度和扭转回弹试验,研制了一种适用于热铺
随着移动端视频媒介的兴起,我们逐渐处于一种被“土味”包围的媒介场景中,2017年到2018年两年的时间内,“土味”迅速在网络中盛行形成独特的土味文化现象,这既丰富了大众文化的多元性,也为社会主流文化建设带来挑战。从文化特性上看,土味文化充满了后现代主义色彩,其边缘性和平面性大有颠覆主流文化的中心性和深刻性的趋势。作为底层阶级的文化,其与生俱来的反精英主义等都对社会主流文化价值观进行冲击。但另一方面
合肥某大酒店外墙合成树脂幕墙涂料翻新工程,翻新涂装完工不久即出现大面积裂缝。其原因是因为配套腻子、耐碱网格布等材料质量不良和施工工艺不当等引起。根据对该工程案例质
县级融媒体中心建设是顺应互联网+广电的形势,而有顶层设计的一种新型的媒体传播与管理模式,融媒体彻底改变和颠覆了传统的新闻信息传播方式,县级融媒体中心建设给基层媒体带
通过过滤效率的跟踪测试,研究了聚丙烯熔喷非织造布驻极体空气过滤材料经各种不同溶剂浸泡后过滤性能的变化规律,比较了不同过滤效率测试方法对测试结果的影响。结果表明:溶剂浸
目的研究不同的单细胞回收液对肺癌单细胞突变检测的影响,为后续的肿瘤基因异质性检测和研究奠定基础。方法以肺癌细胞系A549细胞为研究对象,采用微流控芯片技术,将肺癌A549
随着城镇化的快速发展以及人们生活水平的提高,休闲乡村旅游逐渐成为人们消费的新选择。乡村旅游市场在消费模式和和商业环境的变化下经历了数次变革,从对农业资源的依赖到深度挖掘产品的附加价值,现阶段旅游业呈现资源整合、多元发展、规模扩大的趋势。目前以供应者为单一主体的价值创造形式已经不满足服务逻辑下多主体共同创造价值的理念,游客在乡村旅游中不仅担任着消费者的身份,同时也是价值的创造者。本研究要解决乡村旅游
说明了EDI发展历史,构造结构,工作原理,阐述了EDI的环保特性和经济价值。介绍了EDI工艺在有研半导体材料股份有限公司的应用和运行情况。总体表明,EDI运行稳定,操作简单,出水质量优