论文部分内容阅读
文本评估属于自然语言处理研究领域的任务之一,面对海量的文本数据,实现端到端的自动化文本处理和评估能够节省大量人力物力成本,极大提高工作效率。与此同时,通过计算机的深度学习能力从全新的角度去挖掘文本内容特征,实现非结构化文本的智能解析、理解与评估,有利于辅助决策、推进高级人机交互。开放性问题的答案文本评估,其开放性决定了答案在内容上的多样化和不可穷举,面对开放性的答案,在传统的人工评估过程中,更依赖于评估者的专业性、经验和学识积累,评估结果不能保证绝对的客观和公平;而已有的、达到不亚于专家评估水平的系统大多依赖于特征知识库或标准参考答案的支持,没有达到真正意义上的开放性。因此本论文着眼于自然语言理解,基于深度学习模型对开放性问题的答案智能评估展开研究,专注探索问题与答案的内在联系,提高模型对问题下不同答案优劣的判断力。本文将具体任务抽象为构建一个能够针对问题下的文本回答进行自动评估的系统,即输入一个问题和回答的文本对,系统能够判断该回答是否扣题、回答语句是否通顺流畅、回答内容是否具备一定的逻辑条理性等,然后输出对回答质量优劣的综合评估结果。针对扣题的评估要求,本文提出基于分类的评估方法,利用注意力机制来使问题和回答文本有充分的交互融合以便判断,在中文场景数据集上的准确率优于普通分类模型1.22%-2.64%。针对开放性的评估要求,本文提出基于排序的方法,利用基于大数据的预训练语言模型提高系统的基础稳定性和泛化性,利用正负样例比较学习的方式和损失函数的优化提高系统对问题下答案好坏的辨别判断能力,在多个数据集上的性能优于近期的先进模型结果,与基于分类的评估方法相比,准确率提高了0.6%。针对真实应用中标注语料数量有限、质量不高的问题,本文提出了在原语料基础上进行负例扩充以实现数据增强的解决方法。论文所提出的方法在真实应用场景提供的语料上进行了实验和性能评估,实验结果表明,该方法能够有效完成开放性问题的答案评估,论文模型已获得上线应用。