自然语言处理是人工智能领域的一个重要研究课题,是人机交互的重要环节,自然语言处理主要有两个研究方向,即语言特征提取和文本生成。当前主流的方法是基于深度学习的方法。尽管深度学习方法在自然语言处理各个领域都取得了很好的效果,但是仍然存在许多问题。在语言特征提取方面,深度学习方法不仅缺乏逻辑性和可解释性,而且整个训练过程不可控。在文本生成方面,当前方法在进行文本生成的时候信息利用不充分,且没有针对性的特征提取方案作为基础,无法进行很好的信息交互以构建复杂的文字关系。本文主要研究了当前自然语言处理领域的先进方法和技术,详细分析其具有的缺陷和造成这些缺陷的原因,有针对性的对语言特征提取和文本生成提出了改进方案。并且在两个具有代表性的任务上进行实验,通过实验验证了本文改进方案的具体效果。本文主要工作如下:1.本文分析了语言特征提取的基本原理,以及当前特征提取的主要方法:RNN、CNN和注意机制。针对现有模型的可控性差,可解释性差,提出了定制注意机制的方法。通过对注意机制进行逻辑约束,从而控制注意机制的关注内容。最终,本文在实体关系抽取任务上进行了具体实验,设计了4种具体的逻辑约束函数,在深度特征提取模块和简易特征提取模块上分别进行实验,并与当前效果最好的模型进行对比,验证了本文提出的方案可以很好的对注意机制进行逻辑约束,从而实现可控且可解释的特征提取。2.本文分析了文本生成的基本原理和主流方法,以及编码器解码器的基本结构,提出了RNN作为解码器时存在的主要问题。设计了联想模块,可以提取更多丰富的信息帮助文本生成。联想模块由三个基本模块构成,分别是自联想模块,源联想模块和知识联想模块。本文将这三个模块有机的组合在一起提出了文本生成的改进方案,在文本摘要任务上进行实验。同时,对于编码器特征提取针对性不足的问题,应用本文提出的定制注意机制,作为编码器部分的改进。实验验证了本文提出的方法可以产生更准确更灵活的文本。