近年来,网络安全已成为一个热门的研究领域,类似数据泄露、攻击关键基础设施、加密劫持者攻击等安全事件层出不穷。随着物联网的普及,数十亿台设备连接到互联网中,为攻击者提供了更多可以利用的机会。为了遏制网络攻击和恶意网络行为,专家学者们开始研究流量识别,网络流量识别是保证网络安全最重要的步骤,有效的识别方法能提升网络行为分析和异常检测的准确率。随着神经网络领域的快速发展,有大量学者开始研究如何将神经网络应用于网络安全,以检测攻击或构建安全解决方案,但大多数方案仍存在改进空间。现实世界中的流量识别具有多重挑战,这些挑战在受控的实验室环境中并不明显。在实际预测阶段,识别系统必须处理大量未知类别的样本,现有的流量识别方案大多数没有考虑未知样本,导致实际应用中很多未知样本被错误的识别为已知样本,这对于一个安全系统有可能是致命的。真实数据本质上是动态的,新的未知输入可以通过添加额外步骤使得分类器能将其忽略或者拒绝,也可以设计一个新的分类器,这个分类器能不断检测新的输入并对未知输入进行相应处理。因此本文对基于开集分类的网络流量识别技术展开研究,完成的主要工作如下:1.针对特征处理,本文提出了一种高效的、基于多日志关联的特征提取方法。首先介绍了我们使用的数据集XDU-MET2020,并对原始数据进行预处理;然后,分析了网络流量的统计学规律、TLS（Transport Layer Security,安全传输层协议）明文握手包和上下文数据共三个维度的特征,用这三个维度的特征表示原始流量。最后,我们设计了多日志关联的具体流程,将流中的信息按三个维度的特征信息分别输出到对应的日志文件中,形成原始的数据结构,再按照HASH索引将所有日志进行聚合,并将所有的流量特征进行汇总。本文设计的特征提取方法,提高了数据丰富性、可溯源性和特征表达能力。2.针对网络流量的开集识别,本文通过分析现有模型的缺陷,受Open Max模型的启发,提出了一种新的基于开集分类的网络流量识别模型。我们首先对已知类进行检测,同时提取分类模型中softmax层和openmax层的激活值来构建二维特征向量作为下一阶段的输入。未知类检测阶段基于第一阶段的输出为每个类建立单类支持向量机模型,在测试时若有输入被识别为离群值,则该输入被判别为未知类别的一种,同时我们引入了增量学习的方法,使这些未知类可以被重复利用。然后,通过设置平均值限制条件防止把样本以高的置信度判别成未知类别。最后我们证明了本文的模型在理论上提供了一个有界的开放空间风险,在形式上为未知网络流量的识别提供了有效的解决方案。3.综上研究成果,本文基于XDU-MET2020和ISCXVPN2016公开数据集进行了对比实验,一方面通过与现有的开集分类器Open Max和DOC进行性能对比;另一方面通过在未知类检测阶段提取不同的层和元素来构建不同的单类支持向量机模型,组合成不同的开集模型进行对比实验。然后,我们通过调整超参数值实现了模型性能最优化。最终通过分析实验结果,我们发现本文开集分类模型的性能优于DOC和OpenMax模型。