论文部分内容阅读
随着我国信息化建设的逐渐完善,人们需要更智能和准确的信息检索和自动问答等人工智能领域的服务。为了不断提高算法的性能来提供更高效和舒适的服务,大量研究者投入到了自然语言处理的研究中。文本匹配是自然语言处理领域的核心和基础问题,经历了从早期的基于统计的传统文本匹配方法到近年来的深度文本匹配方法。本文研究了当前流行的几类深度学习文本匹配方法,包括单语义表达的文本匹配、多语义表达的文本匹配和注意力机制的文本匹配。在当前广泛使用的算法的基础上提出了多通道匹配金字塔模型、循环注意力机制的文本匹配模型和动态参数的模型堆叠集成算法,本文的主要工作包括:首先,提出了多通道匹配金字塔模型(MCMP),MCMP模型属于多语义表达的文本匹配模型,针对现有的多数基于表达的文本匹配模型在匹配过程中存在的信息丢失等问题,MCMP模型融合了多个通道,分别获取词语的匹配分数、词语重要性、上下文相关信息和位置信息。实验结果表明,MCMP模型在两组实验数据的各项指标上均优于其它基于表达的文本匹配模型,证明融合多通道的文本匹配方法是有效的。其次,提出了循环注意力机制的文本匹配模型(RAMM),RAMM模型由多个结构相同的匹配模块组成,每个模块均使用注意力机制的方法进行匹配和编码,从而得到多层次的匹配信息。并融合多层次的语义匹配信息,得到最后的结果。实验表明,RAMM模型在两组实验数据中的各项指标均明显优于其它注意力机制的文本匹配模型,证明获取多层次的语义匹配信息是有效的。最后,提出了动态参数的模型堆叠集成算法(DPStacking)。针对Stacking集成算法的次级模型无法学习到原始的文本特征,DPStacking集成算法通过参数生成器生成次级模型的参数,参数生成器的输入为文本的统计特征。这样的设计,一方面可以让次级模型学习到原始的文本特征和真实标签之间的联系。另一方面,能让次级模型学习到原始的文本特征和各个初级模型性能之间的联系,根据文本的特征动态地生成各个初级模型的权重参数。本文对Bagging、Stacking和DPStacking等多种集成算法进行了实验对比,实验表明,DPStacking集成算法在两组实验数据的各项指标上均明显优于其它集成学习算法。