预训练语言模型BERT在下游任务中的应用

来源 :北京信息科技大学学报:自然科学版 | 被引量 : 0次 | 上传用户：glggg

【摘要】

：

BERT模型是一种全新的语言模型,其采用微调的双向Transformer编码实现,利用fine-tuning的方式进行预训练,实际使用时,只需要根据具体任务额外增加一个输出层就可以用来解决特

【作者】

：

段瑞雪巢文宇张仰森

【机构】

：

北京信息科技大学计算机学院,北京信息科技大学信息管理学院,国家经济安全预警工程北京实验室

【出处】

：

北京信息科技大学学报:自然科学版

【发表日期】

：

2020年6期

【关键词】

：

预训练机器阅读理解文本分类文本摘要 pre-train machine reading comprehension text classification

【基金项目】

：

北京市自然科学青年基金项目(4204100),北京信息科技大学校基金(1825023),北京信息科技大学2020年促进高校内涵发展-大学生科研训练项目(5102010805),北京信息科技大学2019年度‘实培计划'项目资助

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

BERT模型是一种全新的语言模型,其采用微调的双向Transformer编码实现,利用fine-tuning的方式进行预训练,实际使用时,只需要根据具体任务额外增加一个输出层就可以用来解决特定任务,克服了传统词嵌入模型对不同任务定义不同网络结构的缺点。为了更好地理解BERT模型及其效果,首先概述BERT模型的原理,以及BERT的预训练策略,然后介绍了如何将BERT模型应用于3个下游任务:文本分类、机器阅读理解和文本摘要,并通过对比实验展示了BERT模型的优势。最后,对未来研究方向进行了展望。

其他文献

素质教育背景下教学改革的特点

新课程改革是推进和实施素质教育的关键环节，是整个基础教育改革的核心。全面推进素质教育的根本宗旨是提高国民素质，素质教育的重点主要是两方面：一是实践，我们培养的人不能只会

期刊

素质教育教育背景教学改革基础教育改革新课程改革国民素质根本宗旨超越自我

论漏罪的发现标准——基于《刑法》第七十条的思考

《中华人民共和国刑法》(以下简称《刑法》)第七十条规定了关于发现漏罪的并罚问题,但司法解释并没有对“发现”二字的理解问题进行细致的阐述。对于漏罪的发现主体与发现时

期刊

漏罪发现标准数罪并罚罪刑相适应原则omission of crimestandard of discoverycombined punishment

以学为乐感悟数学

学习是一种个性化行为。作为教师，应当在课堂教学环境中创设一种有利于张扬学生个性的“场所”，让学生的个性在宽松、自然、愉悦的氛围中得到释放，展现生命的活力。然而长期以来

期刊