论文部分内容阅读
随着社交网络的快速发展,越来越多的人们习惯于通过社交平台发表自己的言论,分享自己的生活并获取自己感兴趣的信息。对文本进行情感倾向分析,不仅可以从中了解到用户的个人喜好,还可根据这些信息进行舆情监控。文本情感分类是自然语言处理任务中的重要任务之一。目前基于神经网络模型的方法在自然语言处理任务中取得了不错的效果。本文提出了改进的神经网络模型用于情感分类任务中,取得了不错的效果。本文的主要工作如下:首先针对输入模型的数据部分不全是与任务相关的数据特性,提出在模型中加入skip机制,使得模型能够自适应的学习跳过与任务不相关的数据。为实现skip机制,探索性的提出了两种实现方法。Skip-Before机制是模型在计算当前数据的隐藏状态前,模型运算得出skip的概率值后决定是否跳过当前词,若跳过该词则模型不再计算当前词的隐藏状态。Skip-After机制是首先计算出当前输入的隐藏状态后,模型运算得出skip的概率值后决定是否跳过当前词,若跳过该词则丢弃已计算出的隐藏状态值。其次将提出的两种skip机制应用到RNN模型和LSTM模型中,构建了SkipBefore-RNN、Skip-Before-LSTM、Skip-After-RNN和Skip-After-LSTM四种模型。使用仿真数据验证模型功能,首次的仿真实验的效果不佳,提出了使用动态学习率的方法改进模型,再次使用仿真数据进行验证实验,验证模型的可行性。再次将四种模型用于文本情感分类中,使用IMDB电影评论数据集和Stanford Sentiment Treebank数据集进行了一系列的探索实验。实验结果证明了本研究中提出的skip机制的有效性,模型能够自适应的学习skip行为,跳过文本中与任务不相关的词,在某种程度上可以减少模型的计算代价,提升模型的训练效率。基于skip机制的RNN模型的鲁棒性较差,在某些情况下效果良好,某些情况下效果比较差。基于skip机制的LSTM模型效果很好,能够有效的跳过文本中包含不重要信息的词。最后介绍了为优化模型尝试了两种方法。总结了优化实验流程和提升模型训练过程的方法和要点,为后来的研究人员提供了参考价值。本文的创新点如下:(1)提出了Skip-Before机制,其主要思想是,模型中的神经元首先计算skip的概率,依概率值决定是否进行隐藏状态的运算操作。实现了基于此机制的SkipBefore-RNN模型和Skip-Before-LSTM模型。(2)提出了Skip-After机制,其主要思想是,模型中的神经元首先计算出当前的隐藏状态值候选值,神经元计算出skip概率值,依概率值决定是否执行更新操作。实现了基于此机制的Skip-After-RNN模型和Skip-After-LSTM模型。(3)在构建Skip-Before-RNN、Skip-Before-LSTM、Skip-After-RNN和SkipAfter-LSTM模型时,为了实现模型自适应的学习skip的行为,使用动态学习率的方法计算skip的概率以此改进模型。