【摘 要】
:
预训练语言模型能够表达句子丰富的句法和语法信息,并且能够对词的多义性建模,在自然语言处理中有着广泛的应用,BERT(bidirectional encoder representations from transform
【机 构】
:
中国电力科学研究院有限公司电网环境保护国家重点实验室; 武汉大学计算机学院;
【基金项目】
:
国家电网公司总部科技项目电网电磁环境舆情及风险跟踪对策研究资助项目(GY71-18-009)
论文部分内容阅读
预训练语言模型能够表达句子丰富的句法和语法信息,并且能够对词的多义性建模,在自然语言处理中有着广泛的应用,BERT(bidirectional encoder representations from transformers)预训练语言模型是其中之一。在基于BERT微调的命名实体识别方法中,存在的问题是训练参数过多,训练时间过长。针对这个问题提出了基于BERT-IDCNN-CRF(BERT-iterated dilated convolutional neural network-conditional random field)的中文命名实体识别方法,该方法通过BERT预训练语言模型得到字的上下文表示,再将字向量序列输入IDCNN-CRF模型中进行训练,训练过程中保持BERT参数不变,只训练IDCNN-CRF部分,在保持多义性的同时减少了训练参数。实验表明,该模型在MSRA语料上能够达到94.417%F1值,在中文命名实体任务上优于目前最好的Lattice-LSTM模型,提高了1.23%;与基于BERT微调的方法相比,该方法的F1值略低但是训练时间大幅度缩短。将该模型应用于信息安全、电网电磁环境舆情等领域的敏感实体识别,速度更快,响应更及时。
其他文献
【正】近年来,液压技术在农业机械中的应用越来越广泛。它具有安装方便、操作便捷、控制容易、维护方便和功率大等优点,适用于工作环境恶劣和结构形态多变的农业机械。液压技
本文在我国城市设计制度环境变革及技术对接需求的基础上,以千岛湖中心城区城市设计为例,通过对已编城市设计的实效性、空间符合性和管控机制的评估,对当前城市设计在运作过
六世达赖喇嘛仓央嘉措的诗歌创作擅长表现自然景物,借此抒发他对自然世界的喜爱之情。本文将自然景物作为诗歌意象,从意境、美丑、和谐三个方面入手,分析蕴涵在仓央嘉措情歌
笔者在多年的"百工校本课程陶艺课程"的教学中,对指导学生进行陶艺创作的各种方法作了一定的积累、分析和探讨,发现大都指向于两种美术图式:即偏于工艺、带有人性温馨和优雅韵味
在高精度测量中,为了提高光栅细分精度,采用了一种基于FPGA的光栅信号细分及辨向方法。首先用Matlab分析读数头输出的两路原始信号和经过滤波且滤除直流分量的信号特点,并根
在经济全球化和国际竞争日益加剧的背景下,西方发达国家为稳定和发展自身贸易,采取了一系列相对于旧贸易保护主义更为隐蔽的贸易保护措施,从而诞生了新贸易保护主义。本文先
在对已有文献分析的基础上,提出土地利用冲突的权衡理论基础、框架和模型方法。利用数理模型方法.建立区域土地生态系统的功能价值评估体系,分析、评估不同尺度土地生态系统的功
电视节目形态具有知识产权属性,即版权属性。电视节目形态版权营销已成为国内外电视节目在传统的“出售受众”换取广告投入、出售节目内容、以节目为载体成立观众俱乐部等营销
通过对小流域监测数据资源的调查,摸清了黄河流域水土保持监测数据在相关行业的分布、采集数据的质量状况和目前数据资源的共享方式及存在问题,同时根据水土保持工作的需要,