与完全公开了通信规约的已知协议不同,当今的网络中有着许许多多的未知协议,个人或者一些软件厂商考量到有关安全问题、经济利益甚至个人隐私等各种各样的问题,他们并没有选择将协议的细节部分公之于众。由于未知协议在实现和实际应用过程中可能存在各种类型的安全威胁,且在实际网络环境中,目前的网络安全设备多基于已知的协议报文格式进行检测和防护,导致未知协议在实际通信应用过程中面临着极大的安全威胁。分析其存在的安全漏洞,是未来安全领域急需解决的问题之一。传统的针对网络协议的漏洞挖掘方法需要提前了解协议规范,难以直接应用于未知协议,或是需要复杂的人工操作,对测试人员水平要求较高。因此,本文设计了一种结合了协议逆向分析与模糊测试的未知协议漏洞挖掘框架,可以应用到未知协议的漏洞挖掘中,并且测试过程中无需使用传统方法时需要的大量人工操作。本文的主要工作包括以下内容:（1）提出了一种基于Bert模型与K-means算法的无监督报文聚类技术。针对协议逆向分析中协议特征难以提取的问题,证明了网络协议具有自然语言的部分特性,并且将自然语言处理领域中的技术引入到了协议逆向分析中,使用Bert模型提取报文特征;针对K-means算法的缺陷,改进了初始中心选取,基于CalinskiHarabasz分数确定了聚类簇数。通过在DARPA数据集上的实验结果证明,该算法在各类场景下均有较好的聚类效果,Purity与F值都在90%左右。（2）提出了一种基于AFL工具的网络协议模糊测试方法。选取了AFL（American Fuzz Lop）工具作为辅助工具,分析了其中的问题与局限性,改进了AFL工具的使用流程,并基于种子执行路径简化了初始种子集,实现了对网络协议的模糊测试,该方法相较于其它方法与框架,具有人工操作量小,无需协议先验知识的优点。（3）基于协议逆向技术与网络协议模糊测试方法,设计了一种面向未知协议的漏洞挖掘框架。使用该框架对Modbus协议的libmodbus实现进行模糊测试,发现了其中存在的两个漏洞,验证了框架的有效性。该框架无需协议先验知识,可应用于所有基于C或C++开发的网络协议软件的模糊测试,相较于传统的Peach与Sulley框架,具有人工配置少,自动化程度高,繁琐性低的优点。