随着信息技术的快速发展,大量数据以流的形式从气象预测、金融交易、传感器网络等重要领域实时产生。不同于传统的静态数据,流数据的时效性及潜在的总量无限性等特征对流数据挖掘提出了新的挑战。如何在有限处理次数内完成对高维流数据快速、准确的聚类,是聚类算法首要解决的问题。为此本文提出了一种双层架构的流聚类算法,并针对分布式警务流数据对处理性能的要求提出其并行化改进算法,主要工作包括如下几个方面:(1)基于局部密度的流聚类算法DCSC的研究。针对含有噪声的高维流数据的在线处理时效性要求,在静态数据聚类算法DENCLUE的基础上,提出了基于在线—离线两阶段流聚类算法。针对流数据存在概念漂移的问题,创新了“衰减超立方体”结构,将数据映射到对应超立方体形成信息摘要,采用衰减函数定义其最大寿命,从而及时淘汰过期数据,实现了对数据底层模型变化的追踪。针对相对耗时的离线聚类,结合优化的爬坡算法与快照,使离线阶段聚类挖掘可按用户要求按需执行并快速得到结果,且不影响在线阶段的正常运行。实验表明算法能够适应变化的流数据,其在线处理速度相比同类二阶段算法有较大提升。(2)DCSC算法的并行化改进及自适应参数选择的研究。针对密度聚类算法参数敏感的问题,提出重要参数自适应取值方法,通过算法分析提出参数推导法则,根据数据初始分布实现自适应参数取值。针对单机算法DCSC的最大性能受限于单台节点所导致的处理海量数据能力不足的问题,本文提出其并行化改进算法PDCSC,对超立方体维护机制和离线聚类流程进行了优化。在线阶段提出优化的全局汇总方法并结合微批处理思想,使各节点及时共享全局信息,实现了节点对数据分片的并行处理;离线阶段将数据划分为相互独立的区域,使类簇不会跨越多个区域,实现了节点的并行执行聚类挖掘。实验表明通过横向节点扩展能够有效提高算法在线阶段的吞吐量,算法的整体处理速度提升明显。(3)目标时空轨迹挖掘系统的设计与实现。采用Spark、Kafka等底层集群架构,将PDCSC算法应用于警务流数据挖掘场景,解决了从海量监控数据流中发现重要目标的问题,为后续目标行为检测提供了数据基础。系统根据用户选择对特定监控区域的特征码流进行聚类,当聚类中心点与重点监控对象库中的特征码高度相似时,整理出该目标的时空轨迹并向前台报警。