二进制协议逆向技术对管理网络通信行为、保障网络安全及提高网络服务质量有着重要意义。不同于文本类协议,二进制协议缺少文本编码信息,字段边界无明显的分界符,协议逆向难度比文本协议逆向更高。目前基于多序列比对的二进制协议格式的提取方法对噪声敏感度较高,并且当协议格式较为复杂,字段值多变时,多序列比对算法的插空操作过多造成部分字段边界发生偏移。此外基于协议状态字段提取的二进制协议状态机推断方法对协议字段提取要求严格,而目前的方法只通过单指标进行协议状态字段推断,易受网络流量影响。针对以上不足,本文在对二进制协议逆向整体需求的分析上,提出了基于流量行为的二进制协议逆向方法,分别从格式提取与状态机推断两个方面进行了研究,并实现了二进制协议逆向系统。本文完成的工作如下:（1）针对二进制协议格式提取算法中对噪声敏感度高,及字段边界特征在序列比对过程中发生偏移的问题,提出了一种二进制协议格式提取算法。首先基于长度与频繁项对协议分组聚类,将混杂的协议流量聚类为单一格式长度相似的协议分组簇;再在单一协议格式分组簇中使用基于语义序列比对的多序列比对算法,获得该簇的协议格式;最后将多个单一协议格式融合为协议格式,实现协议格式提取。实验结果表明,该算法可以有效去除噪声,提取协议语义字段,并推断协议格式。（2）针对基于状态字段提取的二进制协议状态机推断算法评判指标维度单一,且指标无法完全表征状态字段的行为逻辑相似性问题,提出了一种二进制协议状态机推断算法。该算法从状态字段变化规律与行为逻辑相似性等多个指标共同判定二进制协议状态字段,并通过字段在不同会话相同包序号分组中字段取值的离散程度来衡量字段行为逻辑相似性,最后根据协议状态字段构建协议概率状态机。实验表明,本算法能有效刻画协议状态字段的行为逻辑相似性,准确提取协议状态字段,并构建协议状态机。（3）基于以上提出的方法,本文设计并实现能展示二进制协议逆向方法各项结果的原型系统。系统主要包括协议分组聚类模块、协议格式提取模块、协议状态机推断模块与界面展示模块等。本文对系统进行了功能与性能测试,验证了系统具有较好二进制协议逆向的能力。