论文部分内容阅读
随着互联网的发展以及计算机硬件的更新,神经网络模型在最近几年发展迅速,已经被广泛应用于图像识别、语音识别等领域,并且应用已经较为成熟。在自然语言处理领域中,神经网络同样也是前沿热点。在此之前,自然语言处理任务大多对自然语言处理方面的知识要求较高,尤其是使用规则的方法,其要求更加高。而基于统计的自然语言处理方法虽然不需要像基于规则的方法对于研究者有较高的语言学要求,但仍然需要具备自然语言处理的各种知识。但在使用神经网络模型处理自然语言处理任务时,并不需要很多自然语言处理各种任务的知识。而是首先使用词向量来表示所输入的文本,再使用神经网络模型提取文本中的特征来完成自然语言处理任务,这只需了解神经网络的知识即可完成大部分自然语言处理的任务。然而,使用神经网络模型处理这些问题时虽然可以适应于各种任务,但是其效果很难超过传统方法,使用神经网络这种模型的原因更多的是在于其简单易用,但其效果只是接近或者达到传统方法。其部分原因很可能是在神经网络模型中加入先验知识还比较少,直接从文本提取特征并未达到预期效果。因此本研究探究语言层先验知识对使用神经网络模型的自然语言处理任务的影响。对于不同任务,我们比较不同先验知识以及不同的先验知识输入位置(不同的先验知识输入位置主要针对机器翻译任务)对于神经网络模型的影响。我们在自然语言处理基本任务、文本分类和机器翻译三类任务上进行了实验。比较发现,在部分任务上,不同的先验知识对于不同的神经网络模型的影响是不同的。同时,在部分任务上使用合适的神经网络模型,加入恰当的先验知识,可以加快模型收敛,提高模型效果。