【摘 要】
：
随着互联网以及深度学习技术的快速发展,数据驱动模型越来越流行。当前,对于电商领域的对话系统,研究者往往聚焦于其内的对话数据。虽然此种方式能够解决对话系统中用户的高频问题,但是针对某些长尾型问题通常缺乏泛化以及语义理解能力,并且会导致对话系统生成的答复缺乏流畅性和多样性。BERT预训练语言模型在自然语言理解任务中展现出了先进的泛化和语义理解能力。但是,由于BERT模型双向编码的特点,导致在答复生成任
论文部分内容阅读
随着互联网以及深度学习技术的快速发展,数据驱动模型越来越流行。当前,对于电商领域的对话系统,研究者往往聚焦于其内的对话数据。虽然此种方式能够解决对话系统中用户的高频问题,但是针对某些长尾型问题通常缺乏泛化以及语义理解能力,并且会导致对话系统生成的答复缺乏流畅性和多样性。BERT预训练语言模型在自然语言理解任务中展现出了先进的泛化和语义理解能力。但是,由于BERT模型双向编码的特点,导致在答复生成任务中表现较差,而且BERT模型本身较大的参数量也会使得生成任务的效率很低,降低对话系统的运行效率。为了提升电商客服对话系统的泛化和语义理解能力,本文改进BERT模型并设计了一个基于BERT的对话检索和生成相结合的电商客服对话系统。对话系统主要由检索模块、重排序模块、生成模块三个部分组成。在检索模块中,本文采用句向量内积方法来计算用户问题之间的语义相似度得到候选答复。在重排序模块中,本文采用BERT模型来计算用户问题和候选答复之间的语义相似度。在生成模块中,本文采用两种注意力掩码方案改进BERT中文预训练模型,使其可以较好地用于对话系统的答复生成任务。为了提升对话系统的运行效率,本文采用模型压缩方法来降低BERT模型参数量,并且设计了新的检索和生成相结合的对话系统管理策略。最后,本文基于设计的对话系统开发了微信公众号。综上所述,本文设计并实现了基于BERT的电商客服对话系统。在京东客服数据集上的实验结果表明,本文设计的对话系统在答复质量和运行效率等评价指标上取得了可比较的效果。
其他文献
目前我国关于农村污水PPP项目风险的研究较少,关于项目运营中可能遇到的实际问题或风险也不能进行较全面的识别,这导致项目的风险管理往往不能周全考虑到企业方所会接触到的实际运营中的动态风险因素。因而当项目运营成本在受风险影响而发生变化时,合同约定并不能同时满足政府、企业、社会方的利益或业绩需求,导致公共利益受损。故对于农村污水PPP项目进行风险管理研究十分重要。本文针对天津市B区农村污水PPP项目进行
视觉对话是一个涉及计算机视觉与自然语言处理领域的多模态任务,其不同模态信息之间是存在相关性的。现有的视觉对话模型首先分别获取图像、问题和对话历史的特征,然后利用特征融合方法对三部分特征进行融合,最后利用融合向量推理问题的答案。视觉对话模型中常用的特征融合方法是后期融合,然而这种方法并没有深入考虑图像、问题以及对话历史之间的相关性,忽略了三者间潜在的交互,导致模型预测不精确。为了解决这一问题,本文旨
＜正＞3月1日上午，全国台联机关召开2021年度总结暨表彰大会，对2021年度工作进行总结，同时对2021年获得各类荣誉的部门和个人进行表彰。全国台联党组书记、会长黄志贤，副会长杨毅周、郑平出席会议。副会长纪斌主持会议。会上，杨毅周宣读了表扬表彰2021年度先进集体、优秀个人的决定。4位会领导为受表彰的部门代表和个人颁发证书，并合影留念。黄志贤最后作总结讲话，他对2021年同志们的工作予以肯定，
病人出院后计划外的再次入院（简称再入院）是医疗保健系统成本的主要来源,通常被视为医疗保健质量和医院绩效的指标。患者出院后再次入院不仅会使患者面临一些医院获得性感染,还会加重患者及其家属的经济负担,提高护理成本,因此医院再入院率已成为医疗保健研究者关注的关键问题。计划外再入院风险的量化和早期识别将有利于改善患者住院期间的护理质量,减少患者和医院的经济负担,减轻病人的痛苦。目前已经有大量的再入院预测的
社交平台对现实世界的影响力在不断提升,2016年美国大选期间剑桥分析公司通过对Twitter用户的分析,针对用户精准地推送不同话题的政治广告和新闻,成功地提高了民众对特朗普的支持率。因此,通过对社交平台话题演化进行分析从而进行舆论引导是有意义的。当前话题演化的研究大都针对新闻报道等文本信息,忽视了社交平台文本信息占比少用户行为信息占比高的特点。针对这个问题,本文先对数字舆论场进行了设计,然后通过融
随着自然语言处理领域的发展,Transformer语言模型已经被广泛应用于各种自然语言处理任务中。Transformer中使用了一种特殊的注意力机制的结构,被称为多头注意力机制。其目的是为了使的不同的头提取到不同的子空间信息,但是Transformer中没有设计任何结构去保证多头注意力机制可以有效的工作。研究也表明,在很多时候Transformer的多头机制并没有发挥作用,为了解决这个问题,本文提
近些年来,表征学习已成为机器学习社区的研究重点,大规模预训练神经网络已成为实现通用智能的第一步,神经网络取得成功的关键在于其对数据的抽象表征能力,深度学习中的若干学习领域实际上都在讨论怎么学习表征,本文不纠结于若干相近领域的若干相似概念,以表征学习作为统一的视角来讨论学习表征的问题。本文从问题出发,聚焦于求解该领域的两个问题:如何在多种任务下对表征学习问题进行统一建模,如何对神经网络模型中学得的表
基于骨架序列的人体动作识别在计算机视觉领域占有重要地位。近年来,基于深度学习实现的识别方法很好的提高了识别精度。本文的多粒度动作识别包括粗粒度动作识别和细粒度动作识别。当前基于骨架序列的动作识别方法中,针对粗粒度的动作识别,在面对低质量骨架数据的情况下,无法很好的识别低质量骨架序列中包含前文动作和无关冗余干扰信息的情况;针对细粒度的动作识别中模型的观测窗口中出现影响当前帧动作判断的干扰冗余信息时造
目的 优化系统，打通反馈路径，从多方面优化处方点评流程，为医疗机构点评工作从业人员提供参考。方法 成立处方点评专职组、制定培养机制，调研并重构抽样方法，增加点评软件线上反馈程序，联合多部门进行协作监管。回顾性分析医师线上回复变化，对比优化前（2021年1-4月）与优化后（2021年5-8月）处方医嘱点评数量、覆盖率和合理率等指标。结果 从实施线上反馈开始，医师回复率由10.12%增至40.05%。
针对冷轧罩退产品板面黑斑缺陷的形成机理,分析各种成因,提出了减少黑斑缺陷应采取的措施,对同类机组的质量控制有指导意义。