论文部分内容阅读
考虑短文本信息量少、深度学习模型易受干扰导致分类性能差的问题,提出一种利用注意力机制(Attention)和对抗训练改进双向长短期记忆网络(biLSTM)的多层级短文本分类模型。模型包括输入层、bi-LSTM层、注意力机制层。输入层包括词嵌入层和词嵌入扰动层,词嵌入扰动层通过对抗训练对模型输入制造很小的扰动来增加训练过程中的参数更新,bi-LSTM层可以提取上下文不同距离的语义化信息,注意力机制层对经过Bi-LSTM层编码的数据进行加权转变提升序列化的学习任务,经过softmax函数使误差loss极小化。