应用层协议识别技术作为网络监控的基本技术,一直以来在网络管理、安全监控、用户体验改善等领域发挥着巨大的作用,但目前也面临着许多问题。首先,加密协议的日渐增多,导致传统基于端口和应用层载荷分析的方法已不再适用;其次,应用层协议种类数量增长迅速,基于载荷分析的方法需要不断更新特征库,特征库容量的迅猛增长给特征匹配算法的时效性带来了严峻挑战。将机器学习方法引入到应用层协议识别中可以大大提高识别系统效能。本文基于半监督学习方法研究应用层协议识别,主要研究内容和成果如下:(1)通过对生成式方法、半监督支持向量机(Semi-Supervision Support Vector Machine,S3VM)和图半监督算法等进行分析,相较于这些半监督学习算法,TriTraining和Co-Forest利用了集成学习的思想,避免了诸如模型假设、损失函数非凸等问题,算法实现更为简单有效。本文将Tri-Training和Co-Forest这两种基于分歧的半监督学习算法应用于应用层协议识别中,实验表明相较于Tri-Training,CoForest具有更高的协议分类准确率。(2)特征选择是协议识别中的重要模块,本文在分析Relief和包裹式特征选择算法优缺点的基础上,提出了基于Relief统计量的包裹式特征选择算法,该算法结合了Relief算法高效率和包裹式算法高准确率的优点。实验表明,在本文构造的实验数据集上,相比于Relief特征选择算法,本文提出的方法对协议识别的准确率平均提高了约1%。(3)针对网络流数据不平衡的问题,对基于Relief统计量的包裹式特征选择算法做了进一步改进,提出了基于加权Relief统计量的包裹式特征选择算法,该算法主要通过对Relief统计量的加权处理和对特征子集评价函数的更改来实现。实验证明,相较于基于Relief统计量的包裹式特征选择算法,该算法选择出的特征子集更有利于网络流中少数类的识别,如P2P、DATABASE和MULTIMEDIA等,它们的查全率得到了不同程度的提高,同时多数类应用层协议如WWW、MAIL对应的查准率也得到了不同程度的提高。