随着新浪微博,百度贴吧,推特和Ubuntu社区等社交平台的飞速发展,网络上出现了大量一问一答形式的短文本对话数据,这为短文本对话的研究提供了良好的数据基础,也促使其成为近期自然语言处理领域的一个研究热点。针对中文短文本对话的特点,本文在基于Transformer神经网络的序列到序列的框架下融合句法和情感等信息,以提高中文短文本对话生成的质量。具体地,本文的研究内容主要包括以下三个方面:1.高效的短文对话生成模型:为了提高对话生成效率,本文采用一种基于Transformer神经网络的序列到序列框架来对短文对话生成任务进行建模。首先,本文采用Transformer神经网络模型进行特征自动组合与提取。并通过预训练词向量方式来提高模型性能。此外,在模型预测解码中采用柱搜索策略,以减少错误传播。为了验证实验方法的有效性,本文采用基于GRU+Attention的神经网络的Seq2Seq对话模型作为基线方法。实验结果表明,在对话生成模型中,Transformer模型性能要优于GRU+Attention模型。2.融合句法信息的短文本对话生成模型:为了提高对话模型生成的语法性和用词多样性,本文在高效的短文本对话生成模型上进一步融入句法信息。在神经网络模型的设置下,主流方式时使用Tree-GRU提取句法信息。在本文中,我们的对话模型使用了神经句法解析器隐藏层来代替这种方式。特别地,本文训练了一个神经句法解析器,来获得句子的句法树以及神经网络隐藏层。分析实验结果表明:在短文本对话生成模型引入神经网络隐藏层不仅能有效提高生成出句子的质量,也能有效减少错误传播。3.融合情感信息的短文本对话生成模型:为了有效控制对话生成的情感极性,本文在句法信息增强的短文对话生成模型基础上进一步加入情感信息。特别地,本文在神经网络的设置下,比较了两种融合情感信息的方式:即简单情感融合和基于条件变分自编码模型的情感融合。实验结果表明:使用情感信息能有效降低短文本对话生成模型的困惑度,另外采用基于条件变分自编码模型,短文本对话生成模型能产生情感极性更准确的Repsonse。