基于MapReduce的模糊K-means算法并行化研究

来源 :计算机与数字工程 | 被引量 : 0次 | 上传用户:stormcn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
模糊K-means算法是一种能够定量地确定事物亲属关系的软聚类算法,由于该算法在大规模数据的分析和处理中存在的不足,因此提出一种基于MapReduce模型的并行化实现。首先在Map函数的输出传递给其他节点的Reduce函数之前,改进Combine函数设计,增加本地中间结果处理,减少通信开销,以提高MapReduce任务计算速度。然后在Hadoop分布式计算平台上对多组规模不同的数据集进行测试。实验表明,基于MapReduce的并行模糊K-means算法适合大规模数据的分析和处理,而且执行速度提高了约1.9
其他文献
为了得到常驻居民的职住特征,有效区分常驻与非常驻群体,基于手机信令数据设计了得到识别居民职住地的分析模型。通过大量的基站信令的预处理,对轨迹的停留点、发生时间、频
脑梗死患者一般都会出现吞咽困难,吞咽障碍发生率比较高,严重危及患者的生命。为了有效遏止吞咽障碍的发生,为患者的健康和生命提供保障,本文对其吞咽障碍的临床护理工作进行
逆光是造成图像质量变低的重要原因之一。针对逆光图像中亮度降低及细节损失等问题,论文在单尺度Retinex算法的基础上,采用视觉感知质量的图像评价方式对图像进行融合。在单尺度Retinex算法中,不同的高斯函数尺度参数会产生不同的平滑增强效果,使用一组尺度参数的高斯函数对图像进行增强,对获得的增强组图进行视觉感知质量评价,根据评价结果进行图像融合,使得图像的纹理细节部分更加突出,整体增强效果更好,平
针对现有油藏数值模拟软件大多是基于中高品位油藏而设计开发,低品味油藏数值模拟软件较少的问题。对油藏数值模拟系统的研制思路及开发工具进行了探讨,然后针对低渗油藏的特
对属性加密机制进行了研究,结合港口智慧照明管理系统,分析了传统云端应用在访问控制方面存在的不足,将属性加密机制的数据加密和访问控制的特点加以改进应用到港口智慧照明
目的 探讨经尿道前列腺电切术(TURP)后并发尿道狭窄常见原因和防治措施。方法 对7例TURP术后并发尿道狭窄患者定期进行尿道扩张术,尿道内切开电切术等方法治疗。结果 本组7例均
有机磷农药具有一定的胚胎毒性,能够影响胚胎的发育。实验室之前的研究发现久效磷暴露斑马鱼胚胎能够影响其生殖腺的发育,导致卵巢内生殖细胞形态和排列的异常。为进一步探究