随着大数据时代的到来,数据中心已经成为重要的基础设施。网络安全威胁层出不穷,数据中心的安全成为大家关注的焦点。针对数据中心开展实时安全监测分析是确保网络安全的重要手段之一。然而,数据中心的东西向流量达到100G,甚至200G,对实时网络流数据分析技术提出了更高的要求。对此业界引入网络遥测技术进行网络状态监测。网络遥测数据中包含全面且实时的网络信息,为大规模网络实时异常监测、网络威胁在线检测等奠定了基础。本文围绕在大规模网络遥测数据流分析时面临数据分析开销大、检测任务单一等问题展开相关研究。本文主要工作如下:针对在大规模遥测数据流分析时,一方面网络遥测数据流分析中检测任务的并发性和可扩展性不足;另一方面随着网络检测任务的增加,对查询分析处理器的压力也增加的问题,本文提出一种面向网络威胁检测的网络遥测数据流分类预测方法。该方法针对不同网络威胁检测任务的行为属性,构建一组轻量级分类预测模型,使得后续威胁检测过程中只需关注与本威胁相关的数据子集,进而提高分析效率,最后在Spark Streaming分布式流处理平台上实现检测任务的并行分析。在CIC-IDS2017和WIDE公开数据集上实验表明,在准确率达到95%的情况下,与全量数据中的网络威胁检测相比,本文方法在总处理时间上平均降低15%,且随着Spark计算节点的增加,分类预测方法具有很好的可扩展性。针对在大规模遥测数据流分析时,分布式流处理平台Spark Streaming执行网络遥测威胁检测任务没有设置合理化参数配置,其性能未达到最优问题,提出一种基于深度强化学习的Spark Streaming参数优化方法,其中提出权重状态空间转移方法,让在探索环境时有引导性的进行参数空间转移,加快模型的训练速度。通过研究可配置参数与流作业运行性能之间的关系来优化参数配置,实验表明在与默认参数配置进行网络遥测数据流分析时总调度时间降低了99.72%,总处理时间降低了57.39%,并在两种通用流任务上也有较好的作用。