现今是高度信息化、智能化的社会,人们的生活早已离不开人工智能,如停车厂的车牌识别、美颜相机的智能滤镜以及机器人、语言翻译等.而在这些智能系统的背后,是人工智能在起着关键的作用,深度学习是人工智能的深层次理论,而本文所研究的自然语言处理则是深度学习的一个主要方向,也是机器学习的重要组成部分.自然语言处理简称NLP(natural language processing),NLP是人工智能方向中专门研究人类语言的,它的研究范围包括各个国家的所用语言,并应用于机器翻译、观点提取、语音识别、自动摘要、文本分类等多个方面.NLP的主要神经网络模型包括RNN(recurrent neural network)、LSTM(long short-term memory)、GRU(gate recurrent unit)、Transformer等.通过结合RNN、LSTM以及Transformer模型来对自然语言处理研究的发展进行说明和探讨.