NLP文本分类深度学习方法库建立研究

来源 :科学导报·学术 | 被引量 : 0次 | 上传用户:yuhuipin1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘  要:人工智能技术的推动下,深度学习与NLP的联系更为紧密,并推动了NLP的进一步发展。本文就如何打造NLP文本分类深度学习方法库进行了回顾性的分析,对其建模原理及模型细分进行了总结,将为这一研究的深入提供一定的参考。
  关键词:深度学习;NLP;方法库
  随着NLP(神经语言程序学)研究的不断深入,其重要的应用价值开始在机器翻译、情感分析、智能问答、文摘生成、文本分类、舆论分析、知识图谱等领域有所体现[1]。与此同时,以深度学习技术为核心的人工智能得到了广泛的关注,成为一个新的研究热点。这一技术与PLB的耦合,推动了NLP的新发展。打造神经语言程序学文本分类深度学习数据库即NLP文本分类深度学习方法库作为其中的基础环节成为研究中的一个重点。NLP文本分类深度学习方法库建立的目的可为探索以深度学习为主要技术的NLP分类方法提供海量的研究资源,这一学习方法库还具有文本分类的各种基准模型。同时NLP文本分类深度学习库也支持多标签的分类,且这些标签与句子或文档可以形成一定的关联。这些模型的建立将使得后续的研究有了重要的支点。在实践中发现,打造NLP文本库的过程中,有一些较为经典的模型是比较适合作为学习库的基准模型。
  在此次研究的过程中,采用两个 seq2seq模型进行文本分类,每个模型之下都设置有一个函数予以测试。两个 seq2seq模型也可以在文本分类的过程中生成序列或其它任务。在文本分类的过程中,若需完成的分类任务是多标签的分类工作,这时候就可以将工作以序列生成的方式来进行。在这一研究中基本达成了一个记忆网络的建设[2]。其中以recurrent entity network(循环实体网络)来追踪状态,以blocks of key-value pairs(它用键值对块)为记忆并进行运行,并在这一功能的支持下实现对新状态的获取。构建后的NLP文本分类深度学习模型可以实现使用历史或上下文来回答建模的问题。例如,在测试中可以让NLP文本分类深度学习模型来读取句子作为文本,并提出一个问题来查询,而后可实现NLP文本分类深度学习模式的答案预测。若这一过程转化为向NLP文本分类深度学习模型提供一些素材资源,这时NLP文本分类深度学习模型便能够完成研究意义上的分类工作[3]
  1NLP文本分类深度学习方法库模型
  1.1模型
  fast Text(快速文本模型):这一模型主要用于高效文本分类技巧上的研究,在运行中使用 bi-gram,具有较高的速度优势。
  Text CNN(文本卷积神经网络):这一模型主要用于句子分类的卷积神经网络的实现,在结构上利用从降维到conv再到最大池化,最终到softmax。
  Text RNN(文本循环神经网络):这一模型在结构上与文本卷积神经网络有一定的不同,是从降维到双向的lstm到concta输出,最终到softmax。
  RCNN(循环卷积神经网络):这一模型在结构上与文本循环神经网络基本相同,在输入项上进行了特殊的设计,采用EOS将两个问题隔开。
  Hierarchical Attention Network(分层注意网络):这一墨香在结构上采用降维→词编辑器→词注意→句子编辑器→句子注意→FC + Softmax。
  seq2seq with attention(具有注意的 Seq2seq 模型):这一模型在结构上主要有三层,降维→ bi-GRU→具有注意的解码器。
  Transformer:这一模型主要有编码器和解码器两大部分组成,具有在多向自我注意等方面的突出优势。
  Recurrent Entity Network(循环实体网络):这一模型在型号结构上也是分为三个层次,即输入编码,动态记忆,输出。
  BiLstm Text Relation(双向长短期记忆网络文本关系):这一模型在结构上与文本循环神经网络基本相同,在输入项上进行了特殊的设计,采用EOS将两个问题隔开。
  Two CNN Text Relation(两个卷积神经网络文本关系):这一模型采用不同的卷积来实现对句子特征的提取,然后在通过函数使目标标签完成饮食,然后使用softmax。
  BiLstm Text Relation Two RNN(双长短期记忆文本关系双循环神经网络):这一模型在结构上采取不同句子的双向lstm获取,最终由softmax输出。
  1.2性能
  2 NLP文本分类深度学习方法库的用途
  2.1用途
  此次研究中的NLP文本分類深度学习方法库建立在 xxx_model.py之上。在训练阶段采用 python xxx_train.py来进行,进入测试阶段之后,可使用 python xxx_predict.py 来进行。快速文本模型、文本卷积神经网络、循环卷积神经网络、分层注意网络等模型下都有测试方法,可通过此来实现对模型的检验[4]
  2.3环境
  该项学习库建立之后的运行环境为python 2.7+tensorflow 1.1或tensorflow 1.2。
  3结束语
  作为人工智能研究的一个重要分支,打造NLP文本分类深度学习方法库正在不断的探索当中,随着信息技术、大数据技术及人工智能技术逐步由设想变为应用,这一过程也将会进一步的提速。相信在未来的探索中,这一技术模型在获得突破的同时,将为人类社会的发展带来新的福音。
  参考文献
  [1]  王臣博.深度学习在自然语言处理NLP中的应用研究[J].新商务周刊,2020,(4):226.
  [2]  周向明,贝聿运.基于机器深度学习的智能材料预审模型构建[J].科学与信息化,2020,(14):11-12.
  [3]  徐子淇,李煜.打造NLP文本分类深度学习方法库[J].机器人产业,2017,(5):50-57. .
  [4]  马立红,覃丹,林强,等.基于NLP方法的配电网项目关键指标智能化提取[J].自动化与仪器仪表,2019,(4):129-133.
其他文献
摘 要:传统的教学内容是一种“教”与“学”相分离的内容.在课堂上,主要是教的内容,因此称之为“教”材,课堂教学就是教师“教‘教材’”的活动.在课堂外,主要是学生学的内容,通常以作业的形式让学生再学习课堂上教师讲授过的内容.这种分离式的教学内容不仅影响了学生的学习兴趣,而且加重了学习负担.如果教学内容通过优化整合,在课堂学习共同体的活动中,将教的内容与学的内容有机地整合起来,让学生在课堂上“以学为主
期刊
摘 要:教育行业已经不再是一片“净土”,教育已经成为高风险行业。教育管理者、教师触犯收受贿赂、私设“小金库”、发生重大安全事故、体罚学生、猥亵或性侵学生等五个方面的风险,将会受到处罚和追究刑事责任。  关键词:贿赂;小金库;安全事故;体罚;猥亵和性侵  教师职业被称为“太阳底下最光辉的职业”,在人们的心中,教书育人的教育工作者、教师不存在什么风险。但是随着社会的发展,国家不断加大对教育经费的投入,
期刊
摘 要:“二孩政策”出台后,二孩家庭增多,这使得部分学前阶段的头胎子女经历同胞关系过渡阶段,研究表明,受三个主要因素影响,他们在情绪、行为、语言、社交能力四个方面产生心理及行为上的变化。因此,制定良好的家庭教育策略对缓解部分二胎父母的养育焦虑、促进头胎子女的健康发展具有重要意义。  关键词:学前儿童;头胎子女;同胞关系过渡阶段;心理与行为变化  一、概念及现状  (一)同胞关系过渡阶段概念  同胞
期刊
摘 要:自改革开放以来,恢复高考,我国教育不断在发展。尤其如今,机构踊跃,参差不齐。目前中国正在走特色的社会主义市场经济,一方面是政府的调控,一方面市场是看不见的手。而教育机构应运而生,适应了广大国人的学习考试需求,有了需求,自然有了供给,有了供给,便有了市场。教育一方面是纯粹的,因为它源源不断为国家供给着优秀人才,新鲜血液;一方面是复杂牟利的,因为它在一部分唯利是图人的严重,是广阔的市场。同时,
期刊
摘 要:作为一种媒介,手机已完全融入人们的日常生活,成为获取信息、交流、娱乐以及支付的重要工具。人们对于手机的使用已从简单的行为演变成一种普遍的社会现象,人们进入了“出门可以忘带一切,除了手机”的时代。考虑到手机的负面影响日益显现,本文对手机依赖现状进行研究,以期缓解手机依赖症状。  关键词:大中小学;手机依赖;现状研究  1 前言  手机依赖最早是从成瘾的概念中发展而来的,又称为手机成瘾和问题性
期刊
摘 要:随着科技的进步和互联网技术的发展,互联网逐渐渗透到人们生活的方方面面。虽然网络给我们的生活带来了诸多便利,但也衍生出了“网络暴力”这一社会新兴负面产物。所谓网络暴力与传统的现实暴力有所不同,它并非真实可见的暴力行为,而是通过网上言论,对当事人造成直接或间接的伤害。网络暴力无论是对当事人还是对参与者,无论是对网络世界还是对现实生活,都产生了诸多不良影响,应得到有效控制。本文旨在通过对网络暴力
期刊
摘 要:本研究调查了二孩家庭中父母教养方式对幼儿利他行为的影响,结论如下:在二孩家庭中,(1)民主型父母教养方式下幼儿利他行为比例更高。(2)父母的利他行为表现对幼儿利他行为的产生与表现有明显的影响。(3)父母缺少对于幼儿利他行为进行教育的方法。  关键词:教养方式;幼儿;利他行为;二孩家庭  一、概念界定  (一)父母教养方式概述  1.父母教养方式定义  是指在抚养教育幼儿时父母的行为方式,是
期刊
劳动是推动人类社会进步的根本力量,是实现人健康成长的重要基础。近日,中共中央、国务院印发了《关于全面加强新时代大中小学劳动教育的意见》(以下简称《意见》),提出全党全社会必须高度重视劳动教育,构建大中小学劳动教育体系,标志着我国劳动教育进入新的发展阶段。尽管如此,在新的《中小学综合实践活动课程指导纲要》中,劳动教育仍然缺乏应有的学科地位和课程地位,劳动教育手段仍显陈旧。创新劳动教育手段,让受教育者
期刊
摘 要:我国社区心理服务尚在起步阶段,但居民对心理健康服务的诉求不断提高,加之《“健康中国2030”规划纲要》的提出,高校心理健康工作具有服务的资源与优势,高校与社区二者的结合在一定程度上可以满足居民的心理健康服务诉求,本文旨在探索“高校-社区心理服务联动机制”的模式构建。  关键词:社区心理服务;高校服务社区;心理健康  高校利用自身心理健康服务的理论经验与社会资源,服务当地社区心理建设,有利于
期刊
摘 要:随着新闻传播需求增加,媒体向智能化发展,对于新型新闻传播人才的要求也越来越高,这就意味着新闻传播教育也将面临新的挑战。本文阐述智媒对于新闻传播的作用,分析新闻传播教育面临的挑战,研究如何改革当下新闻传播教育,培养出新型新闻传播人才,以应对智能媒体时代确保新闻人不会被人工智能取缔。  关键词:智媒时代;新闻传播;教育改革  智媒时代的到来对于新闻传播产生了巨大的影响,传统的新闻传播教育已经不
期刊