论文部分内容阅读
摘要：本文详细的介绍了循环神经网络的一个特殊形式——LSTM长短期记忆神经网络，为了更加透彻和清晰的理解和运用LSTM这一模型，因此总结为本篇综述性文章。本文首先对LSTM作出了系统的介绍，其次通过一个文本情感分类的实际问题应用，来实现LSTM神经网络，并将其与其他几种算法如RNN、SVM支持向量机等进行了对比分析，做出了相应的结果与总结，同时采用了不同的数据集来反映LSTM神经网络的实用性以及泛化能力。最后总结了LSTM神经网络的优势与缺陷，并介绍了其广泛的应用领域。更深层次的理解其用法以及应用场景，对我们解决实际问题具有现实意义。
关键词：LSTM;文本分类;情感分析
1引言
LSTM神经网络属于RNN循环神经网络的一种变体。循环神经网络加强了信息前后之间的联系，即上一次的输出结果会作为下一次的输入内容，从而让神经网络具有了记忆的能力，这也是循环神经网络的关键。但是在应用循环神经网络的过程中，出现了长期依赖的问题，远距离信息无法学习与记忆，因此LSTM出现从而解决长序列训练过程中的梯度消失和梯度爆炸等问题，即远距离传道的信息丢失问题通过LSTM神经网络得以解决。
2 LSTM概念及原理
LSTM神经网络（Long-Short Term Memory），长短期记忆神经网络于1997年被提出，是RNN的一种改进算法。相对RNN来说LSTM的内部有较为复杂的结构，其能通过门控状态来选择调整传输的信息，记住需要长时记忆的信息，忘记不重要的信息。因而达到长短期记忆的目的。LSTM的关键思想在于一条贯穿始终的信息傳送带，其被称为单元状态，同时通过三个门限来对单元状态上的信息进行增添和删除。进而实现LSTM网络的长期记忆功能。
3实际问题
本文运用LSTM神经网络用于处理一个文本情感分类[2]的实际问题，随着政府对新能源汽车的大力扶植以及智能联网汽车兴起都预示着未来几年汽车行业的多元化发展及转变。汽车厂商需要了解自身产品是否能够满足消费者的需求，但传统的调研手段因为样本量小、效率低等缺陷已经无法满足当前快速发展的市场环境。因此，汽车厂商需要一种快速、准确的方式来了解消费者需求。数据采用网络中公开的用户对汽车的相关内容文本数据（共七万条）来进行对用户情感分析。
4算法实现
（1）本文利用Python作为编程语言，利用TensorFlow框架作为基础[3]，实现LSTM长短期记忆神经网络的构建，首先进行文本预处理，采用中文分词法，并去除无关停用词，其次用One-hot独热编码、Distributed、Bow、以及Word2Vec处理文本内容，最终实现文本的情感识别，以验证网络的可行性泛化能力。
（2）同样采用Python为基础，分别构建了RNN循环神经网络、朴素贝叶斯分类器、逻辑回归以及支持向量机模型分别进行文本分类的实验，最终进行对比分析其各个系统的优劣。
5模型验证与评价
LSTM神经网络能够较为准确的正确分类网络评论中的情感，并且不论是在测试集还是验证集上都有较高的准确率。并且损失函数能够降到比较低的水平。因此该模型在此数据集上有不错的表现。
6比较分析
本文主要选取了准确率与算法运行时间两个方面对不同算法进行对比分析。因为LSTM被广泛用于自然语言处理及文本分类问题，因此采用LSTM算法在处理此问题上具有较大的优势。如图3图4所示，LSTM算法达到了最高的准确率92.5%，其他算法相比有些许不足之处。但是由于LSTM需要调用库函数较多，并且算法较为复杂导致运行时间相对较长，而朴素贝叶斯（NB）以及逻辑回归运时间较快，但是准确率有待提升。
7总结
由于传统的RNN存在梯度弥散问题或梯度爆炸问题，导致第一代RNN基本上很难把层数提上去，因此其表征能力也非常有限，应用上性能也有所欠缺。于是，胡伯提出了LSTM，通过改造神经元，添加了遗忘门、输入门和输出门等结构，让梯度能够长时间的在路径上流动，从而有效提升深度RNN的性能。
由以上研究我们可以总结得到，TensorFlow-LSTM适用于比较大的工程，以及数据量大问题复杂的实例。对于相对简单的问题处理上不如其他较为简单的模型。GPU与CPU架构同理。
综上，LSTM神经网络是一种比较复杂的，更适用于自然语言处理问题。同时在机器翻译，语音识别上以及个性化推荐上也有很多应用。
参考文献：
[1]孙敏，李旸，余大为，张恩宝，李倩倩.基于CNN-LSTM电影评论的情感分析[J].洛阳理工学院学报（自然科学版），2019，29（04）：71-77.
[2]周萌.基于LSTM和Word2Vec的情感分析在商品评论中的应用[J].统计与管理，2019（12）：81-84.
[3]罗澍忻，陆秋瑜，靳冰洁，麻敏华.考虑相关因素的长短时记忆网络短期负荷预测方法[J].机电工程技术，2019，48（12）：126-129.
关键词：LSTM;文本分类;情感分析
1引言
LSTM神经网络属于RNN循环神经网络的一种变体。循环神经网络加强了信息前后之间的联系，即上一次的输出结果会作为下一次的输入内容，从而让神经网络具有了记忆的能力，这也是循环神经网络的关键。但是在应用循环神经网络的过程中，出现了长期依赖的问题，远距离信息无法学习与记忆，因此LSTM出现从而解决长序列训练过程中的梯度消失和梯度爆炸等问题，即远距离传道的信息丢失问题通过LSTM神经网络得以解决。
2 LSTM概念及原理
LSTM神经网络（Long-Short Term Memory），长短期记忆神经网络于1997年被提出，是RNN的一种改进算法。相对RNN来说LSTM的内部有较为复杂的结构，其能通过门控状态来选择调整传输的信息，记住需要长时记忆的信息，忘记不重要的信息。因而达到长短期记忆的目的。LSTM的关键思想在于一条贯穿始终的信息傳送带，其被称为单元状态，同时通过三个门限来对单元状态上的信息进行增添和删除。进而实现LSTM网络的长期记忆功能。
3实际问题
本文运用LSTM神经网络用于处理一个文本情感分类[2]的实际问题，随着政府对新能源汽车的大力扶植以及智能联网汽车兴起都预示着未来几年汽车行业的多元化发展及转变。汽车厂商需要了解自身产品是否能够满足消费者的需求，但传统的调研手段因为样本量小、效率低等缺陷已经无法满足当前快速发展的市场环境。因此，汽车厂商需要一种快速、准确的方式来了解消费者需求。数据采用网络中公开的用户对汽车的相关内容文本数据（共七万条）来进行对用户情感分析。
4算法实现
（1）本文利用Python作为编程语言，利用TensorFlow框架作为基础[3]，实现LSTM长短期记忆神经网络的构建，首先进行文本预处理，采用中文分词法，并去除无关停用词，其次用One-hot独热编码、Distributed、Bow、以及Word2Vec处理文本内容，最终实现文本的情感识别，以验证网络的可行性泛化能力。
（2）同样采用Python为基础，分别构建了RNN循环神经网络、朴素贝叶斯分类器、逻辑回归以及支持向量机模型分别进行文本分类的实验，最终进行对比分析其各个系统的优劣。
5模型验证与评价
LSTM神经网络能够较为准确的正确分类网络评论中的情感，并且不论是在测试集还是验证集上都有较高的准确率。并且损失函数能够降到比较低的水平。因此该模型在此数据集上有不错的表现。
6比较分析
本文主要选取了准确率与算法运行时间两个方面对不同算法进行对比分析。因为LSTM被广泛用于自然语言处理及文本分类问题，因此采用LSTM算法在处理此问题上具有较大的优势。如图3图4所示，LSTM算法达到了最高的准确率92.5%，其他算法相比有些许不足之处。但是由于LSTM需要调用库函数较多，并且算法较为复杂导致运行时间相对较长，而朴素贝叶斯（NB）以及逻辑回归运时间较快，但是准确率有待提升。
7总结
由于传统的RNN存在梯度弥散问题或梯度爆炸问题，导致第一代RNN基本上很难把层数提上去，因此其表征能力也非常有限，应用上性能也有所欠缺。于是，胡伯提出了LSTM，通过改造神经元，添加了遗忘门、输入门和输出门等结构，让梯度能够长时间的在路径上流动，从而有效提升深度RNN的性能。
由以上研究我们可以总结得到，TensorFlow-LSTM适用于比较大的工程，以及数据量大问题复杂的实例。对于相对简单的问题处理上不如其他较为简单的模型。GPU与CPU架构同理。
综上，LSTM神经网络是一种比较复杂的，更适用于自然语言处理问题。同时在机器翻译，语音识别上以及个性化推荐上也有很多应用。
参考文献：
[1]孙敏，李旸，余大为，张恩宝，李倩倩.基于CNN-LSTM电影评论的情感分析[J].洛阳理工学院学报（自然科学版），2019，29（04）：71-77.
[2]周萌.基于LSTM和Word2Vec的情感分析在商品评论中的应用[J].统计与管理，2019（12）：81-84.
[3]罗澍忻，陆秋瑜，靳冰洁，麻敏华.考虑相关因素的长短时记忆网络短期负荷预测方法[J].机电工程技术，2019，48（12）：126-129.