基于GPU的LOF算法加速

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:wu01234
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
异常检测是指发现系统或用户偏离常规的行为,在信用卡欺诈、网络入侵、系统故障检测等方面有着广泛的应用。异常检测通常将正常的行为特征存储在数据库中,然后将当前行为特征与数据库中的行为特征进行比较,当两者偏差足够大时判断发生了异常。用于异常检测的方法很多,LOF (Local Outlier Factor)算法通过计算测试实例的LOF值来判断其是否异常,由于检测率高而得到广泛的应用。然而,LOF算法的计算复杂度很高,其中时间开销最大的操作是kNN计算。在数据规模很大时,LOF算法的时间开销限制了它在低延迟应用中的使用。虽然有很多工作对LOF算法以及kNN算法进行了多种方式的优化,但这些优化方法在数据规模很大或数据维度很高时都存在复杂度太高的问题。近年来,GPU已经发展为包含成百上千个计算单元、具有强大计算能力的众核处理器。GPU统一架构及CUDA (Compute Unified Device Architecture)的出现极大地方便了GPU的编程工作,使得GPU的应用领域从最初的图形图像渲染很快扩展到通用计算领域。目前已有一些工作使用GPU来加速异常检测领域的算法,其中就有针对LOF算法以及kNN算法的并行化工作。但这些工作都没有充分利用GPU的体系结构特点,LOF算法和kNN算法在GPU上还有很大的优化空间。本文研究基于GPU的LOF算法高效实现,重点研究时间开销最大的kNN算法的高效实现。本文将kNN计算分为距离计算和k-近邻查找两个步骤,分别进行优化。对于距离计算,本文重新定义了数据实例的数据结构以及存储方式,并充分利用全局存储器的合并访问特性来提高访存效率。对于k-近邻查找,本文通过距离过滤减少需要参与排序的距离值,减少了线程串行化排序的执行时间。基于高效的kNN实现,本文在CPU-GPU平台上实现了LOF算法的并行加速。本文在真实的数据集上对基于GPU的kNN算法实现及LOF算法实现进行了实验评估,并与其它同类实现进行了比较。实验表明本文实现比已有同类实现有显著的性能提升。
其他文献
近年来,云计算模式的势头愈演愈烈,其理念在制造业逐步兴起,很多计算机服务中心,把资源虚拟化为服务,并集中起来建立云服务平台。云制造的概念也应运而生。大量服务的聚集在
铁路扣件检测是维护铁路行车安全的重要任务。在高速铁路快速发展的历史背景下,铁路维护与铁路安全运营变得越来越重要,作为铁路维护的子任务,扣件自动化检测成为越来越重要
科研项目管理是高等院校与科研机构的重要管理工作内容之一。由于科研工作的特质,科研项目的管理具有较大的不确定性和变动性,一般的工作流管理模式还不能完全适应科研项目动
图像分割是图像处理和分析中的重要过程,它的输出结果直接影响着后续的处理效果.基于图论的图像分割算法由于有比较完备的数学理论基础,最近获得了广泛研究.Normalized Cut是
云计算已经成为一种崭新的IT模式,用户能够方便地通过网络按需访问可配置的计算资源。数据中心为信息服务提供运行平台,高效的云计算平台将数据中心底层的硬件资源进行虚拟化,通
随着信息时代的发展,Web应用正朝着多用户多角色协同的方向发展。在协同Web开发以及使用过程中存在异常,异常的出现不仅降低用户满意度,而且增加开发维护人员维护系统的难度
射频识别RFID(Radio Frequency Identification)是一种利用无线射频信号进行通信的非接触自动识别技术,它具有快速高效、可靠和不需要物理接触等优点,目前广泛应用于动物识别
在单核处理器时代,随着大规模集成电路技术和半导体技术的快速发展,处理器的频率和集成度的不断提高,这不但使得单芯片单核处理器的功耗剧增,而且使得其设计更加复杂。近年来
RoboCup,机器人足球世界杯,是一个国际性的综合赛事,其中的2D项目提出了一个复杂的实时多主体环境下的智能体决策问题。当前人工智能正处在由“单主体静态可预测环境中的问题
网络图是指由网页及网页之间的链接关系组成的图,通过研究网页间的链接关系,抽取有用的信息,多用于爬虫算法,搜索和社区发现等方面。但在应用网络图时,最主要的问题是网络图