【摘 要】
：
随着自然语言处理技术在中文不同领域中的应用,以及深度学习相关算法的研究发展,利用自然语言处理技术实现对古文的处理与挖掘越发受到关注。古文自动断句标点处理是古文数字化处理的重要环节。面对浩如烟海的古文典籍,实现准确快速地自动化断句与标点,有利于古文语料处理的相关工作的进一步挖掘和研究。本文以纪传体史书文本为古文研究对象,针对Bi-LSTM-CRF基线模型局限于字符粒度处理不适用于纪传体史书文本的问题
论文部分内容阅读
随着自然语言处理技术在中文不同领域中的应用,以及深度学习相关算法的研究发展,利用自然语言处理技术实现对古文的处理与挖掘越发受到关注。古文自动断句标点处理是古文数字化处理的重要环节。面对浩如烟海的古文典籍,实现准确快速地自动化断句与标点,有利于古文语料处理的相关工作的进一步挖掘和研究。本文以纪传体史书文本为古文研究对象,针对Bi-LSTM-CRF基线模型局限于字符粒度处理不适用于纪传体史书文本的问题,通过融合词汇粒度信息,改进Lattice模型对字向量和词向量混合编码,实现词汇增强提高准确率。与BERT预训练模型结合,提出BERT-FLAT-CRF双通道特征模型,提高了泛化能力。本文主要工作如下:（1）针对古文自动断句与标点任务,通过分析选择纪传体史书为具体研究对象,根据语料特点清洗数据并设计标注体系,构建数据集,以解决缺少现成实验数据集的问题。（2）面向纪传体史书语料,通过设计基于新词发现的分词模型得到专门与目标语料对应的外部词汇信息特征表,解决现有词向量表不能准确表达史书文本词语的问题,从而准确地融合词汇信息。（3）针对纪传体史书特点,增强古文词汇信息,本文改进Lattice模型,提出一种BERT-FLAT深度学习模型,BERT预训练与改进的Lattice算法相结合的网络实现字符与词汇的双通道模型,从而实现词汇增强。（4）设计实验,实现对古文语句的自动化断句与标点处理。实验以BiLSTM-CRF为基线模型,本文模型断句任务精确率和F1值分别达到了87.11%和80.57%,分别较基线模型均提升了8.90%和9.98%。标点任务精确率和F1值分别达到了74.91%和70.32%,分别较基线模型均提升了11.19%和9.25%。
其他文献
中文公司名实体识别是命名实体识别的一个细分领域。中文公司名实体识别是对企业的曝光率、知名度、运作状况等信息进行自动化分析的基础,在新闻、财报的自动化分析中具有重要意义。但是,目前的中文公司名识别遇到了很多难点,导致识别率偏低。本文针对这些难点,分析了各个模型的优劣,并针对性地搭建了测试语料库。本文的主要工作如下:（1）针对中文文本缺少分隔符以及中文一词多义现象常见的情况,本文使用BERT词向量模型
三维人脸重建技术在信息安全、日常生活中的应用已经得到了广泛部署,同时解决由于生成时间复杂度、三维点云数据质量等因素,影响三维人脸生成质量的问题仍然是一个技术难点,本文针对现有三维人脸重建算法存在的问题展开研究,具体研究内容如下:（1）针对现有三维人脸重建算法中,由于三维点云数据不密集,造成三维人脸生成质量不佳的问题,本文提出了区域色彩迁移算法。该算法先标注色彩填充区域,并在标注区域内部对填充色块进
肌电模式识别是一种先进的智能信号处理技术,已被认为是一种可靠的用户意图分类的重要方法。目前相关的研究报告了在实验室里的高分类正确率,但在临床应用方面仍不能令人满意。其中一个重要的原因是,EMG-PR方法的稳健性仍然不够强,无法应对许多问题,如日常使用中的电极移位,肌肉疲劳,以及力度的变化。其中,力度的变化是影响EMG-PR方法性能的关键问题。因此,提高肌电模式识别方法的抗力变化的鲁棒性就显得尤为重
为了让人们能够从大量的文本信息中准确地获得关键性的内容,文本摘要技术被广泛关注。随着自然语言处理和深度学习技术的发展,很多基于深度学习的文本摘要方法被提出。本文通过对现阶段文本摘要模型进行研究,发现了针对中文的文本摘要模型会出现割裂语义,生成摘要不通顺,冗余信息过多,无法有效处理长句的问题。针对以上问题本文提出了一种抽取-生成式中文文本摘要模型,具体研究工作如下:（1）本文构建了适应中文的基于改进
由于雷达设备具有不接触性和信号保密性高等特点,使得雷达设备被广泛应用在居家养老、探测、搜救等领域,因此应用环境对雷达信号的处理提出了很高的要求,传统的信号时频滤波和特征提取,需要从时域变换到频域,再反变换到时域,这样的流程不利于并行操作,存在时间的滞后,本文提出了一种基于超宽带雷达的双通道输入跌倒信号检测方法,避开复杂的信号处理过程,只在回波信号时域的通道上做一次快速傅里叶变换和一次奇异值分解,在
随着移动互联网的快速发展,针对社会实事,社交平台上会出现大量的议论,这些议论文本存在数量大、话题多、结构口语化和语义信息不足的特点,特别是一些隐式情感语句,会存在暗讽、反话等语言方式,其情感特征并不明显,这些特点对传统的情感分析方法提出了较大的挑战,实验表明,单纯的文本序列信息无法满足隐式情感分析的需要。本文主要围绕着隐性情感的极性判别任务,在传统的仅仅依靠序列特征进行分类的基础上,通过引入语法结
随着科技的进步,光器件对小型化和集成化的要求越来越高。与传统的光学元件相比,二维的超表面具有独特的电磁响应特性,平面结构意味着制造工艺简单,还可以通过使用不同尺寸、不同形状的结构单元,使用不同的排列方式等,实现对光的强度、相位、波长和偏振等特性的调控。在纳米光学领域,超表面已经受到了人们的广泛关注。通过将纳米颗粒按一定的周期组成阵列,单个粒子的局域共振与周围粒子之间的电磁耦合会产生一种新的集体响应
在我国种植业发展新规划的时代背景下，“果树上山上坡，不与粮争地”的果业发展方针使山地苹果成为苹果产业发展的重要方向。然而，因山地独特的立地条件和气候环境，导致病虫害发生种类和规律不同于其他果区。本文以陕西榆林地区为例，概述了山地苹果主要病虫害发生种类及综合防控技术，为山地苹果安全生产提供技术支撑。
大数据时代背景下,网络产生的数据爆炸式增长,用户想获取符合个性化需求的数据信息变得十分困难。推荐系统是解决这一问题的有效方案,但是传统的数据存储和计算无法满足对海量数据的处理,所以推荐系统应运行在分布式的环境上。分布式环境部署的Spark使用内存对计算中间结果进行存储,可以快速的执行迭代算法,计算性能优秀,是推荐系统首选的计算框架。推荐算法是推荐系统研究的重点,但传统的ALS推荐算法忽略了经过时间
随着移动互联网的迅速发展,以QQ、微信为代表的社交软件逐渐成为人们日常生活中主要的交流工具,群组聊天则是其中的一种重要功能,产生了海量的群聊数据,话题发现技术可以分析出群聊所涉及的话题,使得用户可以快速获知某个群的热点话题,这对于提升用户体验具有重大意义。主题模型则是实现文本话题发现的一个重要方法,但是传统的LDA主题模型,将其直接应用于群聊文本主题挖掘,会由于群聊短文本稀疏性特征使得主题建模效果