基于MapReduce的并行遮盖文本聚类算法

来源 :内蒙古科技大学学报 | 被引量 : 0次 | 上传用户：tananhua252

【摘要】

：

通过研究Hadoop平台和MapReduce编程框架,提出了一个基于MapReduce的并行遮盖文本聚类算法.遮盖算法提出了两个距离阈值T1,T2用来构建重叠子集,避免了传统聚类算法对噪声敏感

【作者】

：

张亚楠谭跃生

【机构】

：

内蒙古科技大学信息工程学院,内蒙古科技大学工程训练中心

【出处】

：

内蒙古科技大学学报

【发表日期】

：

2013年3期

【关键词】

：

文本聚类遮盖算法 HADOOP MAPREDUCE document clustering canopy algorithm hadoop mapr

【基金项目】

：

内蒙古自然科学基金资助项目（2012MS0912）,内蒙古教育厅科研资助项目（Njzy12110）

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

通过研究Hadoop平台和MapReduce编程框架,提出了一个基于MapReduce的并行遮盖文本聚类算法.遮盖算法提出了两个距离阈值T1,T2用来构建重叠子集,避免了传统聚类算法对噪声敏感的缺点.同时采用适当的快速近似距离度量,大大加快了聚类速度.实验表明该算法在MapReduce框架下有良好的集群加速性能,适合处理大规模的数据集.

其他文献

碱度和Al_2O_3对中碳钢宽厚板连铸结晶器保护渣粘度和熔化温度的影响

分别研究了碱度为0.92,1.0,1.14,碱度为1.0时Al2O3的质量分数为4.3%,5.0%,6.1%时中碳钢宽厚板连铸结晶器保护渣粘度和熔化温度的变化.试验结果表明,随着保护渣的碱度由0.92升

期刊

中碳钢宽厚板连铸结晶器保护渣碱度Al2O3物理性能wide and heavy plate continuous casting of medium

基于智能视频分析的行为检测关键技术研究

文章研究了外人入侵异常行为识别及预警方法,并构建一种物联网智能安防系统原型。通过Camshift智能视频分析技术实现动态目标跟踪检测,进行人体行为分析。实验结果表明,该模型能使摄像机对入侵状况进行自主识别,判别准确率达98.52%。

期刊

物联网目标跟踪分层法人体行为分析Internet of Thingstarget trackinghierarchical methodhuman

巴润精矿对包钢球团矿性能影响的研究

包钢在球团矿生产过程中配加巴润精矿方面的实践经验很少,因此有必要对球团矿配加巴润精矿后的性能进行研究.研究结果表明,随着巴润矿粉配比的增加,球团矿的液相量和孔隙率增

期刊

巴润矿粉孔隙率还原度还原膨胀率iron ore concentrate from Barun-ore mineporosityreduction d

城市配网规划存在的问题以及解决对策分析

电网工程是当今时代至关重要的一项工程,可以说,现代文明就是建立在电网工程之上的。如果我们做不好城市配网的规划,我们国家的经济基础和社会根基就会被动摇,带来巨大的消极

期刊

城市配网规划问题对策

BIM技术结合第三方管理平台在地铁工程项目精细化管理中的应用研究

地铁工程是现代常见的市政交通工程建设项目,通过该项目能够满足不同人群的交通需求,但地铁工程项目的运作需要保障质量,其施工的精度必须达到一个相当的水平,所以在地铁施工

期刊

BIM技术第三方管理平台地铁工程项目BIM technologythird party management platformsubway engin

150t钢包底吹氩喷嘴优化的水模型实验研究

在相似原理指导下建立了包钢150 t特型钢包底吹氩水力学模型,采用电导率测定法模拟研究了喷嘴数量和位置对混匀时间的影响.实验表明,包钢150 t特型钢包条件下双孔喷吹的效果

期刊

钢包精炼电导率混匀时间ladle refining electrical conductivity commixing time

改进文丘里麻石水膜除尘器以防止吸风机振动

<正> 前言 670t/h锅炉较多采用文丘里麻石水膜除尘器。不同程度地存在烟气带水、吸风机叶片积灰和机壳积水等问题。其中,吸风机叶片积灰会导致吸风机振动,冬季尤为严重,不但

期刊

水膜除尘器吸风机振动

试论物理学的“知识的结构体系”

摘要：在科学领域不断拓展，多种边缘学科纷纷诞生的今天，人们应更加自觉地注意用知识的结构性体系观的眼光来观察自然、研究科学、看待世界。那么在教学上，学生要实现从知识向能力这一重心的转移，给予适当注意和重视是完全有必要的。为此本文结合实例从四个方面阐述了知识的结构体系观的作用与意义，并且强调如何使学生变被动学习为主动学习，真正成为知识的主人，其方法之一就是让学生意识到在学习

期刊

物理学知识结构体系作用意义

150t 10 MVA LF钢包炉的供电研究

研究了150 t LF钢包炉的电气特性和供电曲线的确定，绘制出了LF炉10 MVA变压器各级电压下的电气特性曲线图，利用各级电压的电气运行特性建立了LF炉的电气运行圆图；根据LF炉电气

期刊

LF ladle furnaceelectrical characteristicspower supply cLirve

2015年10月中国部分稀土产品出口统计

期刊

基于MapReduce的并行遮盖文本聚类算法

与本文相关的学术论文