互联网技术的迅速发展使得越来越多的网络应用采用高度定制的协议实现网络通信,使得互联网中的私有协议日益增多,特别是攻击者会构造一些私有协议以规避监测,从而对计算机网络安全带来威胁。对于网络中的二进制协议,当前对二进制协议的逆向分析技术中大多以通信程序为对象进行研究,事实上,通信程序一般情况下不对外公开,使得此类方法的实现较为困难。为解决此类问题,本文以网络流量为研究对象,通过分析并提取报文特征,实现协议格式的推断。首先,本文提出了一种基于极大频繁序列的无监督二进制协议聚类方法,该方法包含极大频繁序列挖掘、模糊隶属度向量构建和模糊隶属度向量聚类三部分。在极大频繁序列挖掘中,本文对BIDE算法改进,提出max BIDE算法,在实现极大频繁序列挖掘的同时,降低了内存开销;随后,本文以模糊集合论为基础,提出模糊隶属度函数,将长度不同的协议报文转为维度相同的向量;最后,以构建的向量之间的聚类作为聚类的依据,实现未知二进制协议的区分。本文以ICMP、DHCP、Modbus/TCP和SMB协议为数据集,分别在协议报文条数分布均衡和分布不均衡的情况下测试,最终取得较为理想的聚类结果。其次,在协议字段边界确定问题中,本文首先利用滑动窗口分别截取已知二进制协议和未知二进制协议报文,形成二进制序列集;通过引入领域对抗迁移学习方法,构建LSTM-DANN模型,将之分为特征提取、边界预测和领域分类三个模块,并引入梯度反转层,使边界预测和领域分类模块之间形成对抗,以降低两个领域之间二进制序列的差异,从而提升字段边界确定的准确度。相较于传统的深度学习模型和基于统计学分析的字段边界确定方法,本文提出的模型在上述四种协议上均表现出更优的性能。最后,为分析协议字段语义,本文提出一种启发式的半监督字段语义分析方法,以当前公开的协议规范为基础,总结六种字段类别,对部分协议报文的字段进行语义标注,形成带标签的小样本训练集;随后本文提出Dual-MLSTMFCN模型,使用构建的训练集训练模型,并在剩余未标注的样本上进行测试,最终在四种协议上取得较为理想的语义分析结果。