论文部分内容阅读
随着信息时代的发展,人们迫切须要从海量的文本信息中快速读懂信息,命名实体识别技术运用而生。命名实体识别是指从文本中筛选和识别出人名、机构名、地名等专有名称和有意义的时间、日期等数量短语并加以归类。对很多文本挖掘任务来说,命名实体识别系统是重要的组成部分,研究命名实体识别模型来提升识别效果的方法具有学术和应用价值,意义重大。本文针对在海量未标注的中文社交媒体文本情形下如何提高其命名实体识别的效果问题,提出了一种对中文社交媒体命名实体识别的统一识别模型(UNER,Unified model of Named Entity Recognition)。统一识别模型算法通过权重将一个跨领域学习模型和一个半监督学习模型融合组成。跨领域学习需要确定通用领域和目标领域之间句子的相似度,运用学习率函数来自动调整不同领域句子的学习率,结合转移概率算法,从而实现辅助领域和目标领域之间域的相适应,提高跨领域学习模型的泛化能力。而半监督模型将主动学习与自学习相结合的中文命名实体识别方法,采用置信度函数来调整学习率的方式,不断迭代地从目标域内未标注的语料中提取样本,添加到训练集进行训练,从而选出命名实体。通过主动学习目标域内未标注的信息,极大地降低了人工标注语料的工作量,使得主动学习在海量数据上具有可操作性。实验结果表明:统一识别模型改善了中文社交媒体命名实体识别的效果。统一识别模型融合了跨领域学习模型和半监督学习模型,统一识别模型大大减小人工标注语料的工作和提高了中文社交媒体的命名实体识别效果。