基于BERT-Attention-MultiBiGRU模型的医疗短文本相似度匹配研究

来源 :第十六届全国信号和智能信息处理与应用学术会议论文集 | 被引量 : 0次 | 上传用户:gzhp
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为实现新冠疫情真实语境下相同语义问句文本的自动检测,解决医疗短文本语义关系简单、篇幅短小、特征稀疏等问题,提出了一种基于BERT(bidirectional encoder representations from transformers)的注意力多层连接双向门控循环单元(attention based multi-layer connection bidirectional gated recurrent unit,Attention-MultiBiGRU)新冠疫情医疗短文本相似度匹配模型。Attention-MultiBiGRU模型以新冠疫情医疗文本问句对作为输入,使用BERT预训练模型获取问句的向量化表示,并输入到使用协同注意力机制的多层连接双向门控循环单元(multi-layer connection bidirectional gated recurrent unit,MultiBiGRU)中学习问句的文本特征,最后将两个问句的文本特征进行聚合操作后经由Softmax计算得到问句对的相似度匹配信息。在新冠疫情问句对数据集上进行了实验性的分析,结果表明,基于BERT的Attention-MultiBiGRU模型能够有效提升捕捉文本特征,并快速实现新冠疫情医疗问句的匹配,同时在数据集上AttentionMultiBiGRU模型准确率与F1值为97.4%和97.9%,效果优于四种常见的问句相似度匹配模型。
其他文献
煤层含气量是表征煤层气资源潜力和开发价值的关键地质参数。针对现行含气量测试方法存在时效长、成本高等问题,以沁水盆地寿阳区块15#煤为例,基于测井资料和含气量实测数据,通过分析认为埋深、补偿密度、自然伽马、补偿中子、声波时差与含气量具有较强的相关性,并确定为构建含气量模型的主要参数。分别采用复合参数法、多元线性回归法和BP神经网络法等方法,构建了基于测井参数的煤层含气量解释模型,并对各模型的准确性和
学位
网络信息时代,人工智能、大数据技术应用日臻成熟,给青年群体带来享受网络技术红利机会的同时,也会使一部分青年人深陷“信息茧房”的困境之中。“信息茧房”带来的信息窄化、碎片化、思想情感固化等问题,对青年价值观的形成和发展造成了不可忽视的影响。破解“信息茧房”困境需要从提升主流价值引领力、破解推荐算法桎梏、加强媒介素养教育等方面入手,助力青年人突破“自缚”困境,实现“解缚”自由。
<正>全球疫情发展至今,人类与新冠肺炎疫情的对战仍在持续,世界范围内的卫生、经济、政治体系都面临了一次大的考验。病毒告诉我们,作为人体天然的防御机制,根据国务院发布的《“健康中国免疫力充当着人体健康的“保护伞”,在对抗疾病、感染和调节炎症等方面发挥着巨大作用,免疫力是第一生命力。2030”规划纲要》,大力倡导每个人是自己健康第一责任人,广泛普及健康知识,鼓励个人、家庭积极参与健康行动,促进“以治病
期刊
针对会计电算化下的业财一体化融合问题展开探讨,从业财融合的必要性入手,明确了会计电算化背景下业财融合的方法,分析了融合途径,包括共享体系的构建、管理机制的调整以及信息化的建设,最后总结提出了实现业财融合的有效对策。根据研究结果可知,通过提高信息技术水平、强化部门沟通交流、优化财务服务流程以及强化会计人员管理等措施,能够促使会计电算化价值得到最大程度的发挥,切实落实业财一体化融合。
随着现代科技进一步发展,会计电算化逐渐取代复杂人工计算模式,提高了工作质量和效率。在大数据背景下,企业会计电算化模式日益丰富。文章以会计电算化的应用优势为切入点,对当前大数据背景下会计电算化存在的问题进行全面剖析,结合领域内相关经验,针对已发现问题提出几点应对措施,旨在提高会计电算化水平,促进企业实现持续与稳定发展。
时代发展飞速的同时,也冲击着传统民族文化,畲族作为有一千多年历史的我国南方传统游耕民族,主要居住在我国福建、浙江两地,目前我国十分重视对于少数民族的非物质文化遗产的保护工作。作者走访调研了闽东地区的畲族乡镇,从畲族节庆时最隆重的凤凰装作为切入点,通过研究凤凰装上的刺绣纹样,就如何将之与服装设计领域以融合运用进行研究,探寻畲族丰富的文化底蕴,在设计和运用畲族刺绣的过程中,发现与传承传统民族刺绣之美,
寒潮作为一种典型气象灾害,其对风电以及以风电主体的新型电力系统的安全运行带来了极大挑战,而针对性的提供准确的风电功率预测将是有效的应对措施。为此,本文提出了一种寒潮天气小样本条件下的短期风电功率组合预测方法。首先定义了寒潮天气事件并分析风电出力特点。针对寒潮天气下样本数据稀缺而难以建模的问题,采用TimeGAN算法来丰富气象和功率样本。然后,分别基于XGBoost和Transformer算法建立风
企业数字化转型是企业在数字经济时代寻求突破的一项重要变革。以新冠疫情为自然实验,基于2019—2020年沪深两市A股上市企业季度数据,使用PSM-DID方法实证分析数字化转型如何影响企业韧性及其影响机理。结果表明:数字化转型程度较高的企业所遭受的负面影响要比数字化转型程度较低的企业更小;企业数字化转型主要通过缓解现金流压力、提升运营效率和降低企业成本三个方面有效提升企业风险应对能力;异质性分析结果
当前,我国已进入全面建设社会主义现代化国家、向第二个百年奋斗目标进军的新征程,企业发展普遍面临着新的发展战略、目标和挑战。利用PDCA循环理论提升企业培训管理质量,进一步提升人才培训质量,对强化人力资源管理支撑组织实现其战略发展目标具有重要意义。