【摘 要】
：
近年来,随着深度学习的快速发展,面向自然语言处理领域的预训练技术获得了长足的进步。早期的自然语言处理领域长期使用Word2Vec等词向量方法对文本进行编码,这些词向量方法
【基金项目】
：
国家自然科学基金(U1636211,61672081);软件开发环境国家重点实验室课题(SKLSDE-2019ZX-17);北京成像理论与技术高精尖创新中心课题(BAICIT-2016001)~~
论文部分内容阅读
近年来,随着深度学习的快速发展,面向自然语言处理领域的预训练技术获得了长足的进步。早期的自然语言处理领域长期使用Word2Vec等词向量方法对文本进行编码,这些词向量方法也可看作静态的预训练技术。然而,这种上下文无关的文本表示给其后的自然语言处理任务带来的提升非常有限,并且无法解决一词多义问题。ELMo提出了一种上下文相关的文本表示方法,可有效处理多义词问题。其后,GPT和BERT等预训练语言模型相继被提出,其中BERT模型在多个典型下游任务上有了显著的效果提升,极大地推动了自然语言处理领域的技术发展,自
其他文献
观察二烯丙基二硫（ DADS）对 IL-1/3诱导SD大鼠关节软骨细胞的影响,除空白对照组外,其余各组加人 IL-1β（10 ng/mL）诱导24 h 后换DADS处理,通过CCK8实验、平板克隆实验检测增殖能
肌少症表现为年龄增长性的骨骼肌质量、力量和功能降低。心力衰竭并发肌少症病人更易出现肌力下降。心力衰竭病人可出现心肌萎缩及坏死等各种病理改变,心肌质量也随着心力衰
垃圾填埋场的存在为城市生活的垃圾处理提供了重要的帮助,生产生活垃圾的大量存在已经造成了严重的影响,给人们的生活带来了巨大的问题,同时也给城市环境保护带来了极大的难
在新疆喀什地区对引进的46个枣树品种（品系）进行了品种栽培及对比试验,嫁接第2年对各品种物候期、叶片生理指标及果实品质进行了观察和测定。本文以当地主栽品种骏枣、灰枣为对
翻译硕士专业学位教学旨在培养适应我国改革开放和社会主义现代化建设事业发展需要,促进中外交流的"高层次、专业型、应用型"的翻译人才。该文从社会需求的视角出发,分析了我
油画从西方传入中国已经有400多年的历史了。时至今日,油画已经成为当代中国画种中重要的组成部分。油画的创作题材往往与同时代的政治、经济、文化紧密联系,反映出当时社会
根据轴所受的随机载荷时间历程统计规律，以轴的疲劳破坏为失效准则，提出了一种预测轴在随机载荷下的可靠度模型。
According to the statistic rule of the random loading ti
对索道完整性管理技术进行了简单介绍，其主要模块为基础信息数据模块、风险评估模块、安全检测与完整性评估模块，并指出它的终极目标是在保证索道运行安全的前提下，尽可能减少经
文中对上海同济大学与日本信州大学地质工程专业课程体系进行了比较研究,从人才培养目标、学分、课程设置、实践教学环节等方面分析了两所高校在地质工程专业人才培养方向上
一是规划养生度假、四季田园、儿童乐园、古镇等12大特色景观,依托莲湖、天鹅湖两大水体景观,搭配种植金桂、野茉莉、黄玉兰、白玉兰、玫瑰等树种。二是投资10亿元启动兴草路