【摘 要】
:
近年来,随着深度学习的迅猛发展,包括文本分类在内的自然语言处理任务表现得到了巨大的提升。但是由于深度神经网络属于黑盒架构,其模型决策的过程不具有透明性,因此模型可解
论文部分内容阅读
近年来,随着深度学习的迅猛发展,包括文本分类在内的自然语言处理任务表现得到了巨大的提升。但是由于深度神经网络属于黑盒架构,其模型决策的过程不具有透明性,因此模型可解释性较差。目前,越来越多的研究者正把目光投向可解释性机器学习这一领域。而语言智慧作为机器理解人类最为核心的模块,自然语言处理的可解释性研究正逐渐成为未来发展的方向之一。目前现存的可解释性方法主要分为两大类,一类是模型训练后应用解释方法对模型进行解释的事后可解释性方法,另一类是使用内置可解释性的可解释性模型方法。本文提出了两种面向深度文本分类模型的可解释性方法,第一种是属于事后可解释性的基于对抗样本的可解释性方法。该方法首先利用自编码语言模型生成的具有上下文语义的词向量,在词向量空间中利用梯度的可解释性,在模型反向传播时寻找可解释性扰动来生成对抗样本;然后利用对抗样本会使模型发生误分类,通过分析误分类的样本所添加的扰动强度来对其进行分析,以提高模型的可解释性。最后为了提高模型的鲁棒性,使用了对抗训练技术,并进一步拓展到针对半监督训练的虚拟对抗训练技术。第二种是属于使用可解释性模型的基于注意力机制的可解释性方法,引入了可解释性的评估准则。该方法首先为文本分类任务提供分类决策并生成基于细粒度的解释,并将解释和决策进行关联,提升解释的合理程度。为了生成更为合理的解释,引入了可解释因子作为评估解释好坏的准则,并且通过最小风险训练方法联合训练模型,使模型训练的更加准确。接着我们将注意力机制进行可视化来更为直观的展示输入对输出的影响,让人们理解决策结果。最后,我们给出实验的结果分析了注意力机制的可解释性。
其他文献
古人说:"一切为民者,则民向往之。"真挚为民是共产党员重要的政治品格,这种情怀源自哪里?思考与研究习近平这样深情的为民情怀,如何成为治国理政的源头与基础。从家风家教的
本文从生物学角度,通过对动物模型的生理、生化指标检测及行为学表现的观察,对其在密闭低氧环境下的工效学状况及工效区域进行了评价和划分。测定了Wistar大鼠低氧暴露条件下的
我国宏观经济在2010年成功实现“V型”反弹后,于2011年步入增速下行的区间。2012年上半年,宏观经济不仅延续了2011年逐季回落的趋势,而且在多重因素的持续作用下,呈现出加速
自改革开放以来,城市化进程不断加快,刺激我国建筑业迅速发展,各种气势恢宏、规模庞大的建筑拔地而起。而在建筑业快速发展的同时,对项目施工质量的要求也是越来越高,目前大多数项目采用的粗放型管理模式已经不能满足当前项目施工质量的要求。因此加强项目施工质量管理,已经成为项目管理的重中之重。小米智慧园项目是一个笔者亲自参与的ZJ公司重点工业园区项目,由于其特殊的地理位置和小米集团的广泛宣传,该项目在北京甚至
作者分别于2005年3-6月和2006年3-6月,对吉林省左家自然保护区山地次生林中大山雀的繁殖情况及生境进行了详细的调查研究。运用SPSS 13.0统计软件进行分析,对大山雀繁殖成功
制造业是国民经济的主体,是立国之本。为了实现《中国制造2025》,2017年2月24日,教育部、人力资源和社会保障部、工业和信息化部等部门共同编制了《制造业人才发展规划指南》,指南中提出要“加快实现产业和教育深度融合”,“鼓励行业企业参与人才培养。”与此同时,中国正在大力发展轨道交通,飞速进入“高铁时代”。随着铁路现代化进程的加快,人才瓶颈问题愈加明显,铁路人才总体上处于供不应求状态,培养大量高素
<正>1.开展课程思政的意义为了贯彻党的教育方针,落实全员全方位育人的目标,利用课堂教学这个主渠道开展大学生思想政治工作是每一位教师的任务。"生理学"课程是护理专业的医
目的:通过术前行非增强螺旋CT(unenhanced helical computed tomography,UHCT)扫描,测定上尿路结石的CT值(hounsfield unit,HU),求得平均CT值,研究结石CT值对上尿路结石行经
废水处理过程是具有时变性、大时滞性的动态非线性生物反应过程,并且往往同时受多个变量共同影响,这些因素使针对其处理过程的在线监控和工艺优化的研究受到一定的限制。近年
“政企分离”是一个不断深化的历史过程刘伟(北京大学经济学院副院长)“政企分离”对于我国的国有企业改革而言,可以说是最早提出的命题之一。1979年改革伊始,“简政放权,放权让利”的