Spark平台下的短文本特征扩展与分类研究

来源 :计算机科学与探索 | 被引量 : 0次 | 上传用户:snower2010
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
短文本分类经常面临特征维度高、特征稀疏、分类准确率差的问题。特征扩展是解决上述问题的有效方法,但却面临更大的短文本分类效率瓶颈。结合以上问题和现状,针对如何提升短文本分类准确率及效率进行了详细研究,提出了一种Spark平台上的基于关联规则挖掘的短文本特征扩展及分类方法。该方法首先采用背景语料库,通过关联规则挖掘的方式对原短文本进行特征补充;其次针对分类过程,提出基于距离选择的层叠支持向量机(supportvectormachine,SVM)算法;最后设计Spark平台上的短文本特征扩展与分类算法,通过分布
其他文献
摘 要:随着全球经济的一体化发展,国内外跨国企业为了更好实施国际化发展战略,迫切需要既熟悉专业性知识又有扎实英语技能的专业性管理人才,在高校采用双语教学模式已成必然。本文通过分析当前高校管理类课程双语教学在师资、教材、学生和教学方法等方面存在的问题,提出了提升双语教学质量的对策。  关键词:高校;管理类;双语教学;对策分析  一、引言  近年来,随着全球经济的一体化发展,越来越多的企业实施了国际化
新一轮课程改革势不可挡,教师不能消极应付,而要积极应对,从改变教师自身开始,让学习、成长、发展发生在学生身上。
摘 要:群文阅读是近几年在我国兴起的一种具有突破性的阅读教学形式。简单地说,群文阅读就是把一定的文字用一定的方式组合在一起,把阅读的自主权交给学生,教师指导学生阅读,并在阅读的过程中推导出自己的观点,从而提高学生的思考能力和阅读能力。让师生围绕着一个或多个题材为依托,以粗读略读为主要方法,交流分享为核心,探索和发现为乐趣的教学方法。改变传统的教学方式,不能按部就班地解决问题;在教学中应大胆创新,帮
影响力最大化问题是在社交网络中寻找具有最大影响范围的节点集。针对启发式算法准确度相对较差的问题,现有的研究考虑了影响范围重合,但忽略了边缘贡献导致的节点影响力过量评
课堂提问作为教师课堂话语和课堂互动的一个重要组成部分,在高中英语课堂中起着举足轻重的作用。课堂提问既是教师输出信息、传递信息和获得教与学反馈的重要渠道,也是促进学
据英国每日邮报报道,长期以来,科学家一直致力于寻找能够使生命永葆青春的不老长寿药。目前,英国研究人员首次通过绘制出裸鼹鼠的基因结构,有望能揭晓这种动物长寿的秘密。  裸鼹鼠很难让人们联想到它是一种长寿动物,它的外形有点儿让人反感,全身光秃秃地不长毛发,且皮肤有皱纹,长着像蠕虫般的尾巴以及像海象一样突出的牙齿,然而它们的身体却非常地健康。  裸鼹鼠生活在东非,其寿命可达到30年,大约是普通老鼠寿命的
当前经济发展背景下,随着我国企业的不断发展,经济水平的不断提高,暴露出我国企业内部中的发展不足之处,本文主要对我国当前发展背景下的金融企业的内部管理进行初步的探析,
摘 要:本文对油套管特殊螺纹接头的发展概况进行查询及研究,针对本公司开发的JIP特殊螺纹接头,研究配套的加工设备、刀具及加工工艺。通过以上研究,获得气密封套管螺纹接头的配套加工工艺,并加工了合格特殊螺纹接头样品,进行了现场上卸扣试验,初步验证了特殊螺纹接头结构及参数设计的合理性。  关键词:油套管;特殊螺纹;密封结构;加工工艺;样品  1 前言  随着深井、超深井、高压油气井、稠油热采井、重腐蚀井
以色列本古里安大学的科学家研发了一种能通过思维控制计算机的装置,可帮助无法使用鼠标和键盘的残疾人操作计算机。  这种称为MinDesktop的装置由一个记录和分析脑电图的专用头盔、人机界面和能将思维转化为计算机操控动作的程序组成。头盔内有14个记录和分析脑电波的触点,研究人员对头盔原有软件进行编程后,可使其识别思维与“推”、“按”等简单动作的关系,并将上述动作与计算机指令相联系。这样,当程序从脑电
摘 要:目前,随着国家经济的发展,电力供应已经占据比较重要的地位。随之而来,各种窃电行为日渐增多。其中,除了普通型窃电手法外,智能型窃电日益增多,科技含量不断增高。另外取证难也是电力企业在反窃电工作中遇到的普遍难题。这就对我们的计量、用电检查、稽查人员提出了更高的要求。培养一支过硬的电力营销管理队伍,提高稽查人员现场侦查水平,保证现场取证的准确性和及时性就显得尤为重要。  防窃电仿真实验平台就是基