在自然语言处理任务中,对话系统是其最具有发展前景的关键应用方向之一。基于检索和基于生成是目前现有对话系统实现的主流方法。检索式的方法是从候选回复进行打分并选择,提供相对固定模式化的回复,基于检索的系统严重依赖语料库的大小和质量,导致候选回复可能会缺失上下文中的重要信息,而且基于检索的方法限制了产生回复的丰富性,输出结果比较生硬。因此,为了让对话系统更好地完成信息表述以及情感表达等任务,使用基于生成式的方法来构建对话系统,使得对话系统产生的回复更为自然生动且符合上下文关键信息。本文在已有的对话模型基础上,研究如何增强对话模型的词意和语义理解能力以及多轮对话条件下信息衰弱的现象。本文的主要内容如下:第一、目前中文的对话系统和英文对话系统相比,由于中文信息更为复杂,并且词语的边界划分具有偏差,因此现有的对话系统性能并不理想。针对现有研究的不足,本论文设计了基于Transformer的中文生成式对话系统,仅使用多层Transformer解码器构建系统,并使用不完全Mask掩码的设计来实现单向语言生成,即问句可以双向感知上下文信息,而回复句只能单向自回归输出。通过自回归的方式每次输出一个词,生成新词后,将该词添加到输入文本序列后面,新的文本序列会成为模型下一步输入,如此循环直到产生结尾标识符为止。本系统的流程使得单向生成对话任务更加具有逻辑合理性,性能也优于传统的对话系统方案。第二、为了增强对话系统对词意和语义的理解能力,本研究提出字词融合的Embedding优化方法,引入预训练语言模型的词嵌入矩阵与对话任务中的字向量进行融合,并通过使用稀疏Softmax来避免过拟合问题。通过实验对比验证字词融合Embedding的优化方法对中文生成式对话系统的性能有进一步提升,验证该优化方法的可行性。第三、通过分析发现绝对位置编码会产生远程信息衰弱现象,因此提出使用相对位置编码进行改进,在Transformer模块修改Self-Attention的计算公式,通过加入相对位置信息替代位置嵌入层的绝对位置编码,以此来增强长距离注意力。通过实验结果验证表明,使用相对位置编码能够减少信息远程衰弱现象。