面向中文Web评论的观点挖掘关键技术研究

被引量 : 3次 | 上传用户:woai12086
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网中包含大量关于社会事件、热点人物及电商产品等的评论信息。它们其有重要的应用价值,既可以为政府舆情服务,也可以为商家和消费者等大众使用。但互联网中的信息量正以指数级的速度增长,仅靠人工阅读来获取有价值的信息是一个十分费时费力的过程。因此迫切需要一种有效的手段,能够对海量数据进行深入的整理、分析与提炼,从而给用户提供直接可用的、准确全面的信息。Web信息观点挖掘技术正是在这样的背景下应运而生,它己成为当前数据挖掘和自然语言处理领域的研究热点。本文旨在研究面向中文产品评论的观点挖掘技术,主要包括产品评价特征抽取和情感词语识别。首先利用丰题模型从评论文本中抽取产品的评价特征及其层次关系;然后将情感词语区分为通用情感词语和语境情感词语,分别利用基于词语释义和关联规则的方法进行识别;最后根据产品特征对评价结果进行统计,并以层次结构的形式展示给用户。论文丰要的研究工作及创新之处包括以下几个方面:一、提出了一个评论-主题模型(Review-Topic Model, RTM),根据其分布结果抽取评价特征及其层次关系。RTM模型在LDA的基础上增加了一个评价指标层,将文档表示为评价指标上的概率分布、评价指标为主题上的概率分布、主题为词语空间上的概率分布。其基本思想是利用评论网站中的评价指标来指导文本中词语的生成过程,以提高主题挖掘的效果。RTM模型会将语义相关的评价特征分配到同一个主题中,达到特征聚类的效果;并且还可以利用模型的评价指标-丰题分布结果得到评价指标、丰题和特征词群之间的层次结构关系。实验结果表明,利用RTM模型除了可以得到评价特征间的层次关系之外,其评价特征抽取的准确率、召回率和F值比LDA模型分别提高了8.6%、3%、7%左右。二、在丰题模型中加入词语分布的先验知识可以提高其性能,本文研究了如何在RTM中融入先验知识,提出了一个基于Dirichlet Forest分布的评论-主题模型(RTM-DF)。该模型将主题在词语空间上的先验分布扩展为Dirichlet Forest分布,能够将词语之间的语义关系有机地融合进来。本文首先计算词语之间的语义相关度,在此基础上对词语的分布加以限制生成Must-Link和Cannot-Link集合;然后对这些限制关系进行表示得到Dirichlet Forest;再利用RTM-DF模型为每个主题分配Dirichlet Tree,并根据树结构产生其在词语空间上的先验概率。实验结果表明,加入先验知识之后,在召回率基本不变的情况下,评价特征抽取的准确率和F值分别提高了5%、3.7%。三、提出了一种基于规则与共现概率的专有名词识别方法。首先对文本进行分词、词性标注,根据词性组合规则抽取候选名词短语;然后利用共现概率对候选名词短语进行过滤,实现专有名词短语的识别。四、提出了一种基于词语释义的通用情感词语识别方法。首先根据现有情感词典资源构建候选情感词表,然后基于多特征线性融合的方法计算词语在《现代汉语词典》中所有释义的情感色彩;再利用多次循环的策略从情感词表中识别出通用情感词语,构建一个适用于任何领域的通用情感词典。五、提出了一种基于关联规则的语境情感搭配词组挖掘方法。首先利用关联规则技术从特定领域的语料中挖掘出与语境情感词具有搭配关系的常用词语组合;然后根据搭配词组的上下文信息对其倾向性进行分析,进而构建领域相关的情感词语搭配集合。最后将通用情感词语与语境情感词语结合起来在文本倾向性分析会议(COAE2011)的语料集上了进行了测试,实验结果表明情感词语识别的效果有了明显的提高。
其他文献
我国已在加快步入老龄化社会,老年人的养老问题成为社会关注的问题。丧偶老人作为老人群体中的一个部分,有着特殊的特征和需要。在我国“未富先老”,养老资源供给不足的现实
南中国海位于中国大陆南部,是连接太平洋和印度洋的重要海域,自古以来都是中国的固有领土,中国人民在南中国海从事着渔业、贸易、货运等活动,历届中国中央政府也都对此地实施
西岐英歌是我国民俗文化的一朵奇葩,是我国首批非物质文化遗产的代表民性民俗体育项目,是目前在潮汕地区广泛开展的一种广场舞。目前关于西岐英歌的相关研究还十分空白,基本
当代社会经济的迅速发展,在给人类生活带来便捷的同时,也造成了环境污染和生态破坏等问题,严重影响了人类的生活质量。同时社会竞争带来的高度紧张的精神压力和追求物质财富过程
在华北村庄农民的观念中,“光棍”不算一个家庭,而在中部村落农民的观念中,“光棍”是一个意义完备的社区性家庭,但在华南村落农民的观念中“纯女户”才是毫无意义的家庭。不
随着时代的发展,我国的教育事业经历了从“精英教育”向“大众教育”的转变,取得了非凡的成就。但同时也给青少年的成长带来了一系列问题,如学业负担过重、人际交往日趋淡薄
TiAl金属间化合物因具有低密度,较高的强度及刚度、较好的室温及高温力学性能而被认为是航空业、汽车制造业、涡轮发动机潜在的轻质结构材料。但是,室温脆性及高温强度不足严重
随着世界各国教育改革的深入,各国学者和政府越来越认识到教师在教育改革中的重要作用,认识到教育改革的成败决定于教师。我国每年有大批初任教师加入教师队伍,他们的专业发
党的十八大报告提出,“要深化行政体制改革,要建设职能科学、结构优化、廉洁高效、人民满意的服务型政府。”在此背景下,以信息技术和互联网技术为主要特征的电子政务成为行
退耕还湖是我国长江中下游地区湿地生态恢复的重要举措,土壤有机碳是评价湿地生态功能恢复的重要组成部分。本文选取菜子湖区不同退耕年限(2、5、8、10、20a)和退耕后不同植被