文本信息是互联网中海量数据的主要表现形式之一,也是人类目前获取知识的最普遍途径。这类数据往往表现出非结构化和语义多样化等特点,因此对文本进行知识抽取是自然语言处理技术的关键难题。命名实体识别就是信息抽取领域中一个基础任务。现有的命名实体识别模型可以分为基于统计的方法和基于深度学习的方法。前者需要人工抽取特征模板进行模式匹配,后者主要通过深度神经网络进行端到端的文本语义解析,从而实现自动标注。与此同时,深度学习的发展增强了强化学习的表达能力,使其在游戏、控制系统上取得了一定的进展。在这个背景下,本文主要研究了强化学习在命名实体识别任务上的应用,主要工作如下:(1)针对标注全局性的要求,本文设计了面向命名实体识别的马尔科夫决策过程(MDP)。与Maes等人的工作不同在于:本文利用神经网络对MDP状态进行语义建模,改善了传统MDP模型手工抽取特征的不足。在基于策略梯度求解的实验中,本文总结了算法的高方差、低经验利用率等缺陷,进一步提出了本文的核心问题:如何求解MDP模型使其具有找到接近全局最优标注序列的能力?(2)针对(1)中的核心问题,本文提出了新颖的基于策略价值网络的模型,称为MM-NER。MM-NER是第一个将蒙特卡洛树搜索(MCTS)增强型MDP应用于命名实体识别的工作。在训练过程,策略价值网络输出标签概率和标注准确度的评估,从而指导MCTS搜索出更具全局意识的标注序列。在推断过程,使用策略价值网络可以使时间复杂度从维特比算法的复杂度O(T|A|2)降低到O(T|A|)。(3)针对命名实体识别中一词多义的问题,本文利用预训练的Bert语言模型进一步增强MDP状态的动态语义表示。在两个命名实体识别数据集上的实验结果,证明了拥有多步向前探索机制的MM-NER在命名实体识别任务上具有显著优势。