基于深度学习理论的中文文本分类技术研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:hao999999
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本分类是信息挖掘的关键技术之一,在新闻分类、情感类别分析和舆情监督中都有广泛的应用。传统的基于词袋模型和向量空间模型的文本表示方法存在特征提取能力不足和特征信息损失大的问题,而在面对较复杂的文本结构以及多分类、数据不均衡等问题时,这些基于传统的统计学习和机器学习的分类算法的分类性能和模型泛化能力都将受到限制。本文主要在文本的表示方法和深度学习模型两方面研究中文文本的分类技术,将中文文本表示方法和优秀的深度学习算法相结合,在文本分类任务中实现理想的分类效果。本文的研究工作包含以下几个方面:1.基于字符级卷积神经网络的中文文本分类研究。针对中文文本中的多分类问题,提出一种基于字符级文本表示和卷积神经网络的分类方法。首先基于该任务构建了规模达到575000的汉字字符数据集及其对应的三种拼音格式数据集。对于汉字字符数据集,以汉字字符和标点符号构建字符字典;对于三种拼音格式的数据集,以拼音字母、数字以及标点符号分别构建字符字典。然后基于四种字符字典,分别建立相应的字符级文本表示作为模型的输入。最后在汉字字符及其对应的三种拼音格式数据集上进行模型的训练测试。实验结果表明,模型在汉字字符数据集上的性能要优于其对应的拼音格式数据集。此外,在相同数据集上将本文构造的模型与前人使用的模型进行了实验对比,结果显示合适的字符字典和卷积神经网络超参数在中文文本分类任务中起着重要作用。2.基于注意力机制和双向独立循环神经网络的中文情感类别分析。针对作为文本分类领域细分方向的情感分析需要提取丰富的语义特征的问题,提出一种基于词向量、注意力机制和双向独立循环神经网络的分类方法。首先对原始的中文文本去除标点符号和特殊符号,利用分词工具进行中文分词,采用Skip-Gram模型和维基中文语料库对分词后的文本进行词向量训练。然后将文本中各词用其对应的词向量表示,把代表各文本的词向量序列作为双向独立循环神经网络的输入,提取文本的语义特征。最后引入注意力机制,对那些能重点表现情感的词赋予更高的权重,使最终形成的表示文本的特征向量既包含语义信息又包含各关键词的权重信息。在相同的数据集上,将本文设计的模型和LSTM、双向LSTM、GRU以及深度IndRNN进行对实验对比,结果表明本文所设计的模型相比于其它模型在情感类别分析任务中获得了更高的准确率和F1值,说明能多层堆叠IndRNN和具有注意力机制的模型能够提取更加全面而丰富的语义信息,使模型获得更优秀的性能。3.最后结合字符级卷积神经网络和具有注意力机制的双向独立循环神经网络模型,设计了一个混合文本分类系统。
其他文献
在依法治国不断推进和深化的大背景下,十年来我国的法律研究蓬勃开展。随着各级政府与公民个人的纠纷日益增加,对于行政诉讼的分类也越来越有必要。与外国的司法实践相比,我
目的降钙素原(PCT)由甲状腺C细胞生成,正常情况下其值较低,在病理情况下则由甲状腺以外的组织生成,如肺、肝、肌肉等,在细菌感染时其值升高,尤其在脓毒血症是变化更为明显。
会计信息的有用性是会计理论研究中的永恒话题,随着现代经济社会的发展,会计信息的有用性逐渐被应用到市场经济的各个层面(Ball和Brown,1968)。而公司信息披露质量作为会计信息有用性的前提,在保障市场经济正常运转的过程中呈现出至关重要的作用。就微观角度而言,信息披露质量作为资本市场和外部利益相关者了解公司运营状况、保障自身权益的主要依靠,如何有效提高企业的信息披露质量成为学界和实务界共同关注的
甜瓜(Cucumis melo L.)是新疆重要的经济作物,新疆主栽甜瓜品种“皇后”因具有优良的农艺性状,而广受消费者喜爱,但其易感病,使品质下降,严重时导致大面积减产。因此,提高抗病
目的:观察中医辨证在治疗慢性肾脏病(CKD)3期并延缓该期患者的肾功能进展方面的临床疗效。方法:将符合本研究纳入标准的60例CKD 3期患者按照随机数字表法随机分为治疗组和对
城市规划管理则是对城市规划事项进行统筹管理,属于系统性工作。城市规划管理的好坏直接关系到城市规划的质量,因此主管部门应加大对城市规划项目的监管力度,采用科学合理的
阜康凹陷东部斜坡带位于准噶尔盆地东部,中二叠世末期,工区南部博格达山发生大规模隆升,随着工区东南部地层逐渐抬升,地层沿斜坡带超覆沉积。研究区西部阜康凹陷区域沉积二叠
据悉,最近由国家发改委牵头负责的新电改方案有望于近期获批出台。本次电改方案将征求拟定发电计划,同时,将允许民营资本进入配电和售电领域等。意见稿中提到推动大用户直供电,
报纸
在全国共青团改革发展和中国高校育人格局发生重大变化的时代背景下,重新审视高校共青团的功能定位、现实困境与机制构建尤为必要。高校共青团工作要立足实践,从工作对象、工
食品塑料包装材料作为食品的重要组成部分,其安全卫生性受到了广泛的重视。本文针对食品塑料包装材料中常见危害物,对其来源、危害等进行了安全风险分析,为食品包装安全质量