利用注意力惩罚项和强化学习实现多标签情绪分类

来源 :四川大学 | 被引量 : 0次 | 上传用户:newlinge
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的蓬勃发展,越来越多网民在社交平台上发表自己的言论,这些言论中通常包含大量的情绪信息,分析这些文本中蕴含的情绪可以为舆情分析等许多任务提供支持,拥有很高的应用价值。由于社交平台上用户发布的每一段文本通常包含多种情绪,且这些情绪间互相存在关联,捕捉这样的关联可以为准确识别文本中的情绪带来帮助,所以文本情绪分析应使用能够建模情绪关联性的多标签分类方法。目前以序列到序列模型为基础的深度学习方法较早期工作更好地捕捉了情绪标签间的关联,然而这些方法解码端不同时刻的注意力关注相似位置的文本信息,倾向于生成语义相似的情绪标签,难以识别文本中语义相差较大的多种情绪。此外,这些方法采用的交叉熵损失函数依赖情绪标签的顺序,但现有数据集中情绪标签没有特定的标注顺序,导致了错误惩罚问题。针对上述问题,本文工作如下:第一,由于现有方法难以识别文本中语义相差较大的多种情绪,本文提出了一种引入注意力惩罚项的多标签情绪分类方法,使用序列到序列模型建模标签间的高阶关联,通过注意力惩罚项捕捉情绪标签间的位置差异。实验结果表明,引入注意力惩罚项的方法相比现有最好的方法,在中、英文两个数据集上的分类效果均有提升。第二,针对标签顺序带来的错误惩罚问题,本文提出了一种基于强化学习的多标签情绪分类方法,利用延迟回报将序列生成过程转化为集合生成过程,将多个情绪标签看作集合。实验结果表明,引入强化学习的方法相比现有最新工作提出的方法,在中、英文两个数据集上的分类效果有进一步提升。
其他文献
神经形态视觉传感器是一种模拟生物视网膜的仿生传感器,这种新型的视觉设备由光感受器阵列组成,每个光感受器单元异步产生事件,将场景的光强变化编码为无帧的时空事件流。这种传感器有低冗余、低时延、高时间分辨率、高动态范围等优点。由于事件流与传统图像在数据格式上有本质不同,传统图像处理方法无法直接应用与事件流数据。研究构造适合事件流数据的视觉处理方法,是神经形态视觉的一大研究课题。脉冲神经网络以脉冲传递信息
脉冲神经网络受生物大脑结构与计算模式所启发,基于离散稀疏的脉冲信号实现异步计算模式与信息传递,能够被部署在专用神经形态芯片上以极低功耗运行,具有实现高效智能计算的潜力。然而由于专用神经形态硬件芯片在计算以及存储等方面的资源有限,对于需要被部署在其上的脉冲神经网络算法和模型的数值精度、计算模式都有一定要求。为了降低脉冲神经网络算法和模型在硬件上部署的难度,适应硬件芯片的实时应用场景,本文从脉冲神经网
随着物联网技术的快速发展,无线传感器网络被广泛地应用于生活生产。但由于传统无线传感器网络中的传感器节点通常采用电池供电,有限的电池容量使得节点能量问题已成为影响无线传感器网络生存时间和系统性能的主要瓶颈。近年来,无线能量传输技术的发展为解决无线传感器网络中传感器节点的能量问题提供了新思路。利用无线能量传输技术,研究者们提出了无线可充电传感器网络,即在传统无线传感器网络中引入移动充电装置对传感器节点
肺癌是全球当前最常见的疾病之一,而淋巴结的评估在肺癌诊治中占有重要地位。肿大淋巴结的存在被认为与肺癌淋巴结转移密切相关。医生通常依据CT影像中淋巴结情况和/或侵入性分期方法对患者淋巴结转移做出评估,并根据评估结果选择对应的治疗方案。因此,淋巴结的检出和分期影响到患者病情发展、疾病诊断、治疗方案选取和随访等一系列进程。但是由于医疗资源的缺乏和患者数量的庞大,人工阅片使得医生工作强度大,患者等待时间长
结直肠癌是最常见的消化道恶性肿瘤之一。结直肠息肉是结直肠癌的主要癌前病变,对结直肠息肉的早诊早治能够有效的阻断结直肠癌的发病进程,改善结直肠癌患者的生存预后。结直肠镜诊疗技术是临床实践中结直肠息肉诊断的主要手段。但由于存在多种因素不同程度影响了结直肠镜检查的质量和效果,给结直肠息肉甚至早期结直肠癌的检出带来严峻考验。结直肠癌的确诊以结直肠息肉活检细胞的病理检查为依据。结直肠病理的检查是结直肠癌确诊
近年来,随着计算机技术的不断发展,生物电信号的自动识别任务引起了大量学者进行研究。生物电信号自动识别的主要应用场景便是辅助医生进行诊疗,目的是使得计算机可以自主、高效地对生物电信号所反应出的人体疾病、异常做出判断。但在实际应用中,生物电信号的数据标注任务成为了一项大的难题。由于生物电信号本身不易被常人看懂,需要非常有经验的医学专家花费大量的时间进行标注,这极大的浪费了人力资源与时间资源,使数据集的
随着移动智能手机的普及,手持拍照成为日常生活中非常重要的一部分。然而,传统的相机传感器无法捕获自然场景中的高动态范围(High Dynamic Range,HDR),专业的硬件设备也由于其高昂的价格难以普及。目前主流的高动态范围成像(High Dynamic Range Imaging,HDRI)技术主要是通过软件层面实现,即利用算法将低动态范围(Low Dynamic Range,LDR)图像恢
乳腺癌是最为常见的癌症之一,早期发现并及时治疗可大幅提高患者存活率。因此,对于乳腺癌的早期诊断十分重要。相较于钼靶、CT等方式,超声检测因其安全性、便捷性、灵活性等优势被广泛应用,针对乳腺超声图像的辅助判别模型也逐渐被重视。不同于海量的人脸、自然图像数据,典型、准确且有效的医学图像金标准数据是极其有限的,同时,罕见疾病数据和新发疫情的早期数据亦是极度缺乏的,此类状况都极大地限制了深度学习等强大模型
甲状腺结节是一种常见的临床问题,对其进行临床检查能够判断患者是否患上甲状腺癌,超声是首选的检查方式,但为了进行更准确的诊断,还需要对患者作病理检查,由此生成的病理报告是公认的金标准。由于病理报告直接反应患者情况,知晓患者的病理报告诊断结论,便可推导出其超声图像检测结果为良性还是恶性。而这对于甲状腺超声图像的标注也具有重要意义:基于超声图像的甲状腺结节计算机辅助诊断系统以深度神经网络作为主要的甲状腺
随着智慧城市的升级,智慧城管系统朝着智能化和多任务的方向发展,其中违规广告牌检测是智慧城管系统的一项重要研究任务。近年来,随着深度学习和计算机视觉的快速发展,越来越多的基于卷积神经网络的目标检测算法被用于非法广告牌检测,具有较高的检测精度,但是在实际应用中可能有一些问题:一方面,对目标检测要求实时性;另一方面,复杂的卷积神经网络的训练需要高性能机器支持,这些高性能的机器不是每个单位都能提供。为了更