基于深度置信网络的中文信息抽取方法

被引量 : 0次 | 上传用户:shangju0
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息抽取是指从非结构化或者半结构化的文本中标明用户感兴趣的内容,并且将其组织成结构化文本的过程。在这个知识爆炸的时代,需要信息抽取技术快速准确地提供海量文本中的重要内容。深度置信网络(DBN,DeepBeliefNets)网络是近年兴起的机器学习模型,它结合了无监督学习过程和有监督学习过程,在图像处理领域已取得巨大成就,但是在信息抽取领域的运用还有待开发。本文利用DBN网络进行以下两个任务:(1)中文实体检测与识别任务(2)中文实体关系检测与识别任务研究内容主要有以下四点:(1)研究DBN网络在实体检测与识别任务中的运用。实体检测与实体识别可以顺序进行,即按任务顺序建立两个模型,也可以组合进行,即在一个模型中同时得出检测与识别的结果。本文利用DBN网络按照这两种策略分别建立实体检测与识别系统。实验模型分别基于词特征和字特征展开,以比较这两种特征提取形式结合DBN网络后,在实体检测与识别任务中的优劣。实验还对不同神经元数量的浅层DBN网络的结果,浅层DBN网络与深层DBN网络的结果,DBN网络与其他机器学习模型的结果进行了比较,阐述了它们各自的特点。(2)引入维特比算法对DBN网络的实体检测与识别结果进行后处理,进一步提高DBN网络对实体检测与识别的结果。进行实体检测与识别任务时,DBN网络忽略了当前字符与上下文字符的标记限制,本文利用维特比算法对DBN网络输出结果进行后处理,寻找最大概率的标记序列,剔除不符合逻辑的标记。本文分别采用了实际概率和二元概率进行维特比后处理。实际概率由训练语料统计得到,贴近实际情况但是不一定适合测试语料。二元概率赋予符合逻辑的状态同等概率,降低了对标记序列的限制。(3)研究DBN网络在实体关系检测与识别任务中的运用。本文利用DBN网络建立实体关系检测和实体关系识别顺序进行的系统,以及实体关系检测与实体关系识别组合进行的系统。实验依然是在词特征和字特征两种字符特征上展开,比较两者对于此任务在DBN网络中的适用性。关系样例的特征组合包括一元字符特征,实体相对位置特征和依存树特征等7种特征。实验分别在不同神经元数量的浅层DBN网络和深层DBN网络上进行,以确定最好的网络结构。并且将DBN网络的结果与其他机器学习方法的结果对比,验证深层DBN网络是适合于实体关系检测与识别任务的模型。(4)使用两种方式改进DBN网络的学习过程,使它的实体检测与识别任务的结果得到优化。利用梯度下降法进行有监督学习会遭遇“导数消亡”问题,网络的错误信息很难传送到靠近输入端的隐含层,所以底层的参数得不到有效的训练,导致深层网络的效果反而不如浅层网络,或者深层网络的效果提升不明显。本文改进DBN网络的训练过程:a)每增加一层隐含层时,都调用有监督学习过程对通过无监督学习过程初始化的网络参数进行学习。b)为每一层隐含层添加一个输出层,使用有监督学习过程为通向这些输出层的隐含层进行参数学习。最后本文将这两种改进的DBN网络运用到实体关系检测与识别任务,检验它们的效果。
其他文献
工业区作为我国经济发展的重要基地,其基础建设融资渠道通常以财政支持为主。然而,随着工业区的高速发展和基础建设融资需求的提高,我国有必要寻找更高效的融资渠道。本文从
引发群众上访量增多的原因是多方面的,政府因素是其中不容忽视的一个方面,包括政府信访政策、措施方面的原因,政府信访体制、信访工作方面的原因,政府发展政策、干部工作考评
目的 对中央型前置胎盘剖宫产患者产后出血的危险因素进行分析。方法 对我院收治的40例中央型前置胎盘剖宫产患者临床资料进行回顾性分析,根据出血情况将其分为研究组与参照
王弼在其《老子指略》中,用“崇本息末”来概括《老子》的主旨。以“本末”来解读《老子》,是王弼的一大贡献。本末思想不仅是王弼解读《老子》的重要内容,也是王弼自身思想的重
随着云计算技术的不断发展和普及,云存储的概念也应运而生,而分布式文件系统是云存储的核心基础,承载着数据存储的重任。另外一方面,随着社会信息化程度的提高,对于信息和数据的依
就炮制对中药药性的调控作用进行了探讨。认为中药所以呈现一定药性,用于治疗某些疾病,根本原因在于其特定的物质组成,是其药效成分综合作用的结果。炮制可引起成分改变,这是
<正>《决策》:2015年是全面完成"十二五"规划的收官之年,也是"十三五"的奠基之年,铜陵市将如何适应新常态,展示新作为?宋国权:"新常态"意味着发展速度、发展方式、经济结构和
介绍了自动切换器的电气控制原理、机械系统结构设计,分析了其可靠性,给出了系统框图和控制系统硬件原理图。为新型开关电器的设计提供了理论基础。
长期以来,马克思的"卡夫丁峡谷"设想被广泛解读为"跨越资本主义",由此引发了一系列的思想理论混乱。实际上,马克思这一设想的本义指的是制度内跳跃,即对资本主义原始积累阶段
<正>2013年陕西境内连续发生了数起蜜蜂重大死亡事件,短期内突然发生大量蜜蜂不明原因的死亡,甚至前一天蜜蜂正常工作,一夜之间大量死亡,蜂农损失惨重,甚至倾家荡产。陕西蜜