【摘 要】
：
语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内
【机 构】
：
吉林大学计算机科学与技术学院,吉林大学软件学院,符号计算与知识工程教育部重点实验室（吉林大学）,DepartmentofComputerScience
【基金项目】
：
国家自然科学基金(61872163,61806084),吉林省教育厅项目(JJKH20190160KJ)。
论文部分内容阅读
语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能.围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,从语言模型的基本概念和理论出发,介绍了神经概率与预训练模型的应用情况和当前面临的挑战,对现有神经概率、预训练语言模型及方法进行了对比和分析.同时又从新型训练任务和改进网络结构两方面对预训练语
其他文献
为探明大直径盾构管片在盾壳内的力学行为,以珠海马骝洲交通隧道工程为依托,采用现场试验结合有限元模拟的方法,分别对试验环管片在盾壳内拼装阶段、推进阶段及相邻环管片拼
南水北调东线工程需要经过九级提水才能到达用水区域,九级提水泵站分属于江苏水源公司的四个分公司管理,泵站、分公司、总公司各司其职,协同管理,最终完成南水北调职能。在这
为在民事法治建设中妥善处理各民族风俗习惯与国家民事法律的关系,我国《民法通则》《婚姻法》《继承法》《收养法》赋予了民族自治地方人大对民事法律规定进行变通的权力。
马克思恩格斯在诗歌、论文和书信中直接论述了爱情话语、新闻话语、科技话语、精神话语等话语内容,构成了具有实践性、情感性、通俗性和真理性等特征的马克思恩格斯话语理论
基于公平偏好视角,针对著作权人与网络服务提供者之间监管行为策略构建动态演化博弈模型,分析各因素对行为决策的影响。研究结果表明:在公平偏好视角下,当收益协调系数小于某
作为对我国近年来发生争议的热点案件的一个理论回应,需罚性在犯罪论体系中的功能与定位被提出。我国目前的犯罪论体系均是以应罚性为中心展开的,缺乏对需罚性的判断,从而带
通过烧结铝粉和碳化硅微粒制备SiC/Al复合材料,以组成(质量分数/%)分别为Al-20SiC、Al-20SiC-20Zn、Al-20 SiC-40Zn的填料作为中间层材料,在420,520,600℃焊接温度下对复合材
研究了某造纸厂2台分别服役62 a和43 a的铸铁烘缸不同位置的显微组织和力学性能。结果表明:2台烘缸缸体及端盖均无明显的表面缺陷和裂纹缺陷,基体组织均为无明显球化的珠光体
墨子的吏治主张,立场鲜明,内容丰富,是他尚俭、节用思想的进一步延伸和拓展,体现出特有的政治智慧。墨子的吏治主张与廉洁思想密切相连,有着深厚的社会和历史根源,针对的是当
本文通过调查了解农村疫情隔离期的村民兴趣取向变化,结合村民兴趣和行为的主流和共性特点,提出建设适应农村实际需要的流动图书服务体系。根据村民在知识和技术方面的需要特