论文部分内容阅读
在传统的信息检索中,检索模型是在静态数据集上训练得到的,模型一经训练,结构和参数都相对固定下来,没有根据新的数据自动修正的机制。但现实中,Web上的信息是实时更新的,经过一段时间训练好的模型往往会因为随后新数据的加入而使得检索性能明显下降。为了解决这个问题,传统的模型必须对新的数据重新进行学习,但在新的数据上重新训练一个模型需要耗费大量的时间,而且在旧数据上训练了很久的模型也因得不到利用而被浪费,因此,如何避免重新训练且很好地利用旧数据在新的数据上进行检索成为一个关键的迁移学习问题。在本文中,我们在传统的基于Markov网络的信息检索模型基础上提出一个基于迁移学习理论的Markov检索模型(简称TLMR模型)。它利用Markov网络在旧数据上建立信息检索模型,由于Markov网络能够表示学习更新机制,可应用新数据集来更新已有的Markov网络,也即将已有的知识迁移到新的检索模型中。在这篇文章中,我们通过计算新、旧数据中词关系的Markov网络之间的KL距离来度量新、旧数据之间的关联程度,利用它来估计迁移量参数。而且,在现实中Web上的信息并非只更新一次就不再变化,在旧数据上迁移一次得来的新模型,将其再次迁移到再次更新的数据上检索性能是否仍然会好,这是值得探索的。在本工作中,我们将TLMR模型在多个数据集上进行多步迁移,以此来探讨其适应动态数据的能力。在TREC数据集上的单步与多步迁移实验表明模型能很好地在多个数据集间迁移,多步迁移实验也表明模型的学习能力与学习顺序无关。本文的工作和创新点在于:1.在目前将迁移学习理论研究只应用于分类的情况下,将迁移学习理论用于信息检索领域,将知识的迁移和有指导的迁移学习等思想成功应用在基于Markov网络的信息检索模型中,利用在新旧数据上构造的Markov网络来进行知识的迁移。2.在迁移学习的基础上提出将TLMR模型在多个数据集上进行多步迁移,从而观察在以Markov网络表达数据信息的前提下,旧知识在经过多步迁移后是否仍对新的检索任务有所帮助,以此来探讨TLMR模型对动态数据的适应能力。3.通过在TREC数据集上的单步和多步实验证明了TLMR模型能在多个数据集上进行很好地迁移,多步迁移结果也证明模型的学习能力与学习顺序无关,符合人类的认知规律。