基于改进左右熵与互信息的中文新词发现研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:jyjlxy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的来临,海量的信息资源以文本的形式涌入社会生活的方方面面,这些语料都是富含中文新词的矿藏,大量中文新词的出现给文本分词、信息检索、信息组织等工作引入了较多的噪声干扰,所以在大量文本数据中怎样自动地识别出中文新词,同时保证准确率较高,逐渐成为了热点研究。具体来说,对于中文新词的发现是在文本数据中提取未在现有词库中登陆的新词的过程,其是中文NLP领域的一项基础性任务,故拥有相当重要的实践与理论意义。为了对原有的中文新词发现模型进行改进,本文首先设计了改进的左右熵和互信息指标,并且将这两种指标融合在一起,用作对新词的筛选,其次为了进一步提高新词发现的准确率,本文为新词发现核心模型添加了外部增量。本文的主要研究内容,如下所示:(1)统计特征对于新词发现的效果有重要影响,本文基于信息度量理论,设计了改进的左右熵统计特征和改进的互信息统计特征,并且将两种特征融合在一起,构建了新词发现核心模型。与此同时,为了去除无效信息的干扰,本文在计算统计特征前引入了融合分词与分字的预处理步骤。实验结果表明,本文改进的新词发现核心模型相对传统新词发现模型,在图情档测试集上的最大F1值提升约为17%,平均F1值提升约为12%。(2)为了进一步提升新词发现的准确率,本文为新词发现核心模型引入了BERT-CRF命名实体识别和N-gram分词模型,并且融合两种外部增量模型,构建了完整的新词发现模型。实验结果表明,融合外部增量的完整模型,在图情档测试集上的最大F1值提升约为24%,平均F1值提升约为13%;在不同领域测试集上的最大Accuracy值提升约为24%,平均Accuracy值提升约为23%。(3)为了有效地测试中文新词发现模型,针对缺乏公开测试集的问题,本文构建了图情档及其他领域的数据集作为测试数据集。与此同时,本文选择了 PRF作为评价指标,并利用网格搜索法寻找最佳参数组合,最后通过对比实验法设计了主试验及对比实验。综合所有的实验结果,可以验证本文提出的完整新词发现模型具备可行性与有效性,并且表明了该模型具备一定的领域和大规模数据适应能力。
其他文献
传染性脾肾坏死病毒(Infection spleen and kidney necrosis virus,ISKNV)属于肿大细胞病毒属的成员,能感染鳜(Siniperca chuatsi)、大口黑鲈(Micropterus salmoides),致死率高,严重的危害鳜和大口黑鲈养殖业的发展,生产上急需研发高效、安全、方便的新型疫苗。1.基于杆状病毒表达系统研发抗ISKNV活载体疫苗及免疫效果评估
学位
运营管理是商业银行发展的基石,运营能力的高低直接决定了产品和服务的质量、效率、成本。运营管理部门在商业银行向客户交付产品和服务中起到了决定性作用,卓越的运营管理能力会提高商业银行的竞争力。当前商业银行间同质化竞争激烈,越来越多的商业银行开始进行运营管理改革。通过运营管理改革,为商业银行经营提供更智能、更有效、更灵活的基础支持,同时促进了效益的提升。在传统的以会计为中心的商业银行运营模式中,不完善的
学位
电子信息时代悄然而来,科学技术水平不断提高,社会信息化程度愈渐加深,第三产业中的信息服务业也如日方升。信息资源在物质生产和生活中扮演越来越重要的角色,信息服务的质量和水平也备受关注。而档案作为一种最真实可靠的原生信息资源,是人类所拥有的一笔宝贵财富。其中,高校档案作为一种特殊的档案类型,具有一般档案的共同属性,但又由于其产生过程和产生主体的独特性,高校档案也呈现出稳定性、学术性的特征。对高校档案馆
学位
截至目前,科创板落地已超过一年半,带着促进资本市场和科技创新融合的使命,科创板对我国发展经济新常态的国策目标起着举足轻重的作用。根据研究,高投入高风险高门槛等都是科创板的独有特征,全面试行注册制、放开市盈率“影子控制”、放开表决权差异限制、放开注册地限制等等新规让科创板的很多发展方式都不同以往A股其他板块。为了解决资本与科技的衔接“缝隙”,让资本更好的服务于实体经济,本文在系统梳理了相关研究领域经
学位
随着时代的发展进步,培育与时代特征相适应的全面发展、终身学习的人才成为教育的基本诉求,核心素养应运而生,落实到各个学科中凝练出学科核心素养。发展生物学学科核心素养成为生物学教学的新宗旨。“问题探讨”栏目作为人教版高中生物学教材中每节必备的“门面栏目”,以其问题情境的创设引人入胜,是发展生物学学科核心素养的良好资源。因此,善用“问题探讨”栏目开展教学能够促进生物学学科核心素养的达成。本文首先采用文献
学位
缅甸是云南省第一大贸易伙伴,随着一带一路建设、云南自由贸易区的推进,滇缅双边贸易交往日益密切。本文基于云南省和缅甸的基本情况,分析滇缅双边的绝对优势、比较优势、要素禀赋以及经济结构差异的基础上,深入分析滇缅双边在要素禀赋、自然资源、经济结构等方面存在的绝对优势和比较优势。通过对滇缅双边贸易现状研究发现,滇缅双边贸易规模不断扩大,其中,边境贸易是滇缅双边贸易的重要组成部分,然而,缅甸国内的基础设施不
学位
在复杂网络中发现极具影响力的用户对于舆论的引导与传播、创新性采用以及群体行为的形成和发展等诸多方面具有重要作用。研究表明,现实生活中的社交网络具有明显的社团特征,网络中的社团结构具有社团内部连接紧密以及社团之间连接稀疏的特性,信息的传播也会受到社团结构的影响。在研究信息传播这类问题时,社团内部节点之间的信息传播更加趋向于同质信息的传播,而社团之间往往进行着异质信息的流动,因此对社团网络的研究一方面
学位
档案外包,是企事业单位为降低成本而将非核心的档案业务承包给社会组织,充分利用外部资源完成业务。档案领域对待外包由谨小慎微到大胆尝试,由观望态度转变到实践操作,不仅是外包行业自身发展越来越成熟,更是档案业务不断外包的实践摸索,使得档案业务外包领域逐渐规范。而在档案业务外包发展过程中,相关研究文章主要集中于档案外包基础理论研究、档案外包过程中出现的问题风险及对策研究、档案外包政策规范研究等。对外包业务
学位
近年来,保险资金在经济建设中的重要地位不断突显,在服务实体经济方面取得巨大成就。随着我国保险业务的不断拓展、投资渠道的逐步放开,保险资金运用仍存在着广阔的发展空间。但利率下行的趋势、优质资产标的缺乏以及疫情的冲击,也给其带来了挑战。同时,目前我国保险资金的投资收益率较低,保险公司的资金运用体系仍不完善、投资管理能力较弱,不利于资金效率的提高。由此,对其效率进行测算并探究其影响因素,具有现实意义。而
学位
以比特币为代表的(非法定)数字货币具备去中心化、强安全、反监管等属性,从而为犯罪暗网所青睐。对于涉比特币刑事案件的分析表明,比特币虽作为犯罪对象、犯罪工具、犯罪所得而大量涌现,但针对比特币的刑事没收,并无可供遵循的成型规则。我国刑事没收的范围,涵括财产性利益在内的所有财产类型,比特币虽未获得(准)货币地位,但其虚拟财产定位,及其所具备的技术基础、交易价值和管控可能,使其成为没收的可能和必要对象。在
期刊