【摘 要】
:
电子病历命名实体识别是医疗领域信息化建设的重要前提任务,但由于电子病历本身较高的数据敏感性和标注困难性,目前公开可用的数据资源相对较少,导致该领域的命名实体识别难以达到实用水平。为此,本文以预训练模型BERT和Transformer的编码器为基础架构,引入多任务学习和领域自适应两种迁移学习方法,并应用基于片段的解码方式和对抗训练方法来提高电子病历命名实体识别的性能。针对现有命名实体识别模型的实体相
【基金项目】
:
国家重点研发计划(2020AAA0108004)“面向机器翻译的多模态多语言深度融合关键技术研究”; 国家自然科学基金项目(61672127)“基于深度学习的句子相似度计算研究”; 国家自然科学基金项目(U1936109)“面向大规模汉语新闻语料的实体抽取与自动摘要研究”
论文部分内容阅读
电子病历命名实体识别是医疗领域信息化建设的重要前提任务,但由于电子病历本身较高的数据敏感性和标注困难性,目前公开可用的数据资源相对较少,导致该领域的命名实体识别难以达到实用水平。为此,本文以预训练模型BERT和Transformer的编码器为基础架构,引入多任务学习和领域自适应两种迁移学习方法,并应用基于片段的解码方式和对抗训练方法来提高电子病历命名实体识别的性能。针对现有命名实体识别模型的实体相关特征抽取不足问题,提出多任务标签感知Transformer模型:一方面,针对Transformer纵向多层网络结构中的浅层信息利用不足问题,基于实体边界预测和实体类别预测两个命名实体识别相关辅助任务,采用分层多任务迁移学习的模式建模;另一方面,针对Transformer横向多头自注意力机制中的注意力头随机投影问题,提出配合多任务学习模式的标签感知单元。根据每一层的实际标签意义,为注意力头分配不同的投影方向,提高注意力头对当前任务的参与度。在多个不同领域数据集上的结果表明,多任务标签感知Transformer模型能够在不使用任何外部资源的情况下,取得接近应用了词典或中文字形信息的命名实体识别模型的性能结果。针对命名实体识别模型在不同电子病历语料之间的迁移困难问题,提出基于标签共享的领域自适应方法。该方法基于不同语料间的相似实体类别来构建共享编码器和私有编码器,以部分迁移学习的方式实现跨领域的电子病历命名实体识别。首先,利用具备标签感知能力的多头自注意力机制,配合实体类别预测任务完成各编码器间的分工合作。然后,针对电子病历数据的标注特点,使用基于片段的解码方法来识别嵌套实体,并基于堆栈和无向图结构设计了实体过滤算法以适应无嵌套数据。最后,在训练阶段,通过主动引入扰动信息来构建对抗样本,以降低数据噪声对跨域知识迁移的干扰。在两个评测数据集上的实验结果表明,相比于传统的迁移学习方法,基于标签共享的领域自适应方法在电子病历命名实体识别任务上能够取得更高的识别性能。
其他文献
在新课程改革背景下,教师要落实对学生核心素养的培养目标,而落实这一目标的主要渠道就是促进学生深度学习,让学生可以真正地掌握学习的方法,而不只是获得单一的知识,进而让学生获得终身发展所需要的必备品格或者关键能力。因此,本文从思维培养的角度上对初中物理深度学习展开了一番叙述,通过结合学生的思维成长特点来组织多元化的教学活动,让学生可以更加积极主动地探究知识,了解知识发生的过程,并且获得将新知识纳入到旧
目的:通过临床随机对照试验,研究中医适宜技术(揿针、耳穴压丸)防控儿童假性近视向真性近视进展的临床疗效,并对揿针+耳穴压丸的作用机理进行初步浅析,最终以期为临床真实情境提供治疗思路。方法:选取就医于天津中医药大学第一附属医院眼科门诊就医的儿童46例(共计92只眼),时间范围限定于2020年3月-2021年6月,经检查等效球镜≥-0.50DS(即[0DS,-0.5DS])、年龄在6-10岁患者,号码
根据调查研究分析,结合海南在招商引资方面的优势和不足,调研组认为海南应坚持以制度创新为动力,以推动市场化改革为导向,以优化营商环境及投资服务为重点,以降低成本和提高效益为根本,以完善产业生态、探索多元化招商路径为保障,统筹推进、破立并举、系统协同,优化投资促进工作,持续将海南建成企业投资兴业的“热土”,全球合作共赢的“高地”。
<正>桃细菌性穿孔病为害叶片,减少叶片营养的积累,严重时会引起大量落叶,削弱树势;为害果实,可严重影响桃的商品性;为害新梢,影响花芽分化,造成来年减产。1病原特征油菜黄单胞菌李致病型(pv.(Smith)Dye.),属黄单胞杆菌属。菌体为杆状,较短,革兰氏阴性菌,病菌适宜温度24~28℃,致死温度51℃。病菌在干燥条件下可存活10~13 d。在枝条溃疡组织内可存活1年以上。2危害症状识别侵染叶片初
小学综合实践活动课是对学生展开德育教学的有效阵地,因为其具有很强的实践性和开放性,有利于学生在亲身体验中充分认知德育理念,进而促使自身思想道德水平有效提升。而且,就小学综合实践活动课程来看,其中德育也是非常重要的教学部分,在高效展开对学生的德育教学的同时,也有利于发展综合实践活动课程的教学。由此可见,在小学综合实践活动课程中融入德育理念有着十分积极的意义。
目的:对比单孔腹腔镜与传统多孔腹腔镜胃癌根治术在早期胃癌患者治疗中的临床疗效及安全性。方法:选取某院收治的早期胃癌患者95例,采用随机数字表法分为观察组(n=48,单孔腹腔镜胃癌根治术)和对照组(n=47,传统多孔腹腔镜胃癌根治术),比较2组患者手术相关指标、免疫功能(CD4+、CD8+、CD4+/CD8+)、凝血功能[凝血酶原时间(PT)、纤维蛋白原(FIB)、活化部分凝血活酶时间(APTT)]
中国优秀传统文化在德育工作中的融合往往存在着很多的问题,之所以如此,主要是因为很多学校教师的意识存在偏差,很多家长也都仍然秉承传统的思想,认为德育完全是在浪费时间,应该将重点立足于对学生各个学科的教学之上。这种想法直接影响了中国优秀传统文化在小学德育工作中的融入,导致其过程存在很多问题。如果不能够及时对问题进行解决,那么学生在成长过程中势必有所缺失。
<正>关汉卿的《窦娥冤》不以跌宕的情节取胜,也不因复杂的人物塑造著称,而是以对人性的体贴揣摩而获誉,读其文,观其剧,一股淋漓尽致的悲情扑面而来,不能不令人掩面。"血溅白练、六月飞雪、大旱三年"的誓愿实在太有画面感,有大力量。过目难忘之余,又颇有细微可体察处,我们一一来说。
目的 对比研究手工清洗消毒和全自动软式内镜清洗消毒机两种方式对消化内镜清洗消毒的效果,以及两种方式对空气质量的影响和工作人员满意度情况,以进一步优化和规范管理流程。方法 选择2021年6月至2021年9月武汉大学中南医院消化内镜中心200条次内镜,按照随机抽选的方式分为两组,观察组采用自动软式内镜清洗消毒机,对照组采用手工清洗消毒,采用目测法和ATP生物荧光检测法对两组内镜的清洗质量进行观察和测定