期望最大化算法在GPU上的优化研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:amuro111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代给高性能计算带来两大挑战,其一是要求计算设备低功耗、高计算力,其二是算法与计算设备的高效融合。致力于数据级并行的GPU,不仅支持大量的线程高度并发隐藏访存延迟,从而提高显存带宽利用率,而且片上大规模的计算核心和各种各样的可编程控制存储层次结构,能为计算密集型机器学习算法提供极高的计算浮点性能,因此,现在流行的各种各样机器学习计算框架中,支持GPU已经成为一种标配。  期望最大化(Expectation Maximization)算法是一类迭代式求解含有隐变量的机器学习算法模型,高斯混合模型(Gaussian Mixture Model)作为利用EM求解的典型代表,是一个理论上能够拟合任何分布数据的聚类算法,但是其高计算复杂度使得其很难用于大数据处理。在GPU上通过异步更新参数,减少迭代次数来加速收敛的算法改进优化在处理高维数据方面和扩展性方面性能不佳。  本研究实现了在GPU上的同步EM算法,经过深入分析发现计算瓶颈,首先重新划分计算任务并设计kernel,其次通过算法改进使其可以调用高效的已有算法库,最后结合GPU结构特性,做了访存、流式并发优化,在保证正确性的前提下,运行速度和扩展性有极大提升。在K40m上相比已存在GPU版本,运行digits数据集(维度64,样本数1797)加速将近8倍。
其他文献
未知环境中的机器人地图探测问题是机器人领域的关键问题之一。随着机器人应用范围的不断扩大,对机器人在未知环境中自主完成相应的任务需求越来越多,而在未知环境中进行自主地
科技发展日新月异,如今互联网已经延伸到了我们生活的每个角落,它改变了我们的生活方式。但是在互联网带来巨大生产力效应的同时,大量不良黄色淫秽信息充斥着网络空间。其中图像
内存空间始终是计算机系统最重要的资源。有限的内存资源需要小心保存和适时回收。对内存空间最主要的耗费一般就是创建对象。当应用程序不再需要使用创建的对象时,就需要释放
在信息安全越来越难以保证的今天,操作系统易用性和安全性的矛盾日益突出,主流操作系统虽有很好的易用性,但是其安全性不强;而自主设计的安全操作系统因应用软件的不足而表现出较
统计学习理论是基于有限训练样本情况下的机器学习理论,通过控制学习机器的复杂度从而实现对学习机器推广能力的控制。支持向量机是基于统计学习理论的一种新的机器学习方法,它
Fuzzy C-Means(FCM,模糊C均值聚类)属于基于划分的聚类算法类别,自算法提出至今已40余年,众多学者深入研究发展出大量改进型算法,被用以分析处理来自各行各业、种类繁多的数
随着嵌入式技术的发展和无线通信技术的广泛应用,以移动智能终端为载体的移动地理信息系统(Mobile GIS)已成为地理信息系统研究的热点。嵌入式GIS是集导航、定位、地图查询和空
随着信息化时代的到来,数据库技术不断发展,数据库中存储的数据量急剧增加,如何从海量数据中找出人们最感兴趣的信息,为人们做出有效的决策服务,成为了一项重要的研究课题。Skylin
随着当今世界的技术的进步,机器人在很多情况下代替了人在远端作业,特别是一些危险的工作环境。机器人的虚拟仿真技术应运而生,其使得操作者在遥操作中对远端的工作环境有了虚拟
血液透析技术被广泛应用于肾脏病患者的治疗当中,血液透析机则是血液透析治疗中的主要设备之一。正确诊断血液透析机的故障类型对提高血液透析治疗安全性具有重要的意义和实用价值。本文针对血液透析机的故障特点采用了自组织特征映射(S0M)神经网络对其进行了诊断研究。具体如下:首先,阐述了血液透析治疗的发展历程和神经网络技术的发展历程,并针对于自组织特征映射神经网络做了研究。根据血液透析机的工作过程总结了血液透