CTCS-3是基于GSM-R无线通信实现车地信息双向传输,由无线闭塞中心生成行车许可证的列控系统,提高了系统的安全性和可靠性,其可靠性分析对保证高速列车的安全运行具有重要意义。并且由于GSM-R网络的介入,网络模式由封闭转为开放,为了保证列车运行所需的关键信息的安全传输,安全相关设备之间需要一个安全传输通道,这意味着我们应该在传输层协议中增加安全通信协议,以确保消息的安全传输。RSSP-Ⅱ协议是一种通用的铁路信号安全通信协议,用来保障在封闭或开放式网络传输系统中铁路信号安全接口设备的安全通信,如临近的RBC、RBC/TSRS、RBC/CBI等。迄今为止,国内外研究人员对RSSP-Ⅱ协议安全性的理论研究并不够全面,本文对该协议的消息鉴别码MASL-MAC方案的进行了理论研究。首先对通信协议安全算法进行理论研究和改进。针对RSSP-Ⅱ安全通信协议中消息鉴别码方案MASL-MAC存在安全性差和效率低的缺陷,本文提出消息验证码MAC-AEST算法和MAC-AESS算法,前者是基于改进高级加密标准AEST的消息验证码MAC-AEST算法,在AEST算法中运用改进的更为完整的查找表模式,同时采用完全展开的轮内三级流水方法以提高系统时钟频率和数据吞吐量。后者是用PN序列发生器生成S-box和初始密钥的高级加密标准AESS作为MAC码核心算法,其S盒的保密性保证了MAC鉴别码的安全性。一定程度上提高了RSSP-Ⅱ协议安全信息传输效率。其次,针对改进算法后协议的安全性问题。通过比较传统的协议安全性分析方式后,采用形式化建模方法分别对基于MAC-AEST算法的通信协议和基于MAC-AESS算法的通信协议的密钥服务流程进行建模工作。首先分析RSSP-Ⅱ协议的结构和功能,然后使用通信顺序进程CSP方法对改进后协议关键的通信进程进行相应的模型提取,最后采用模型检测工具Casper-FDR进行状态搜索,结果未找到不符合安全功能定义的个例,证明改进的RSSP-Ⅱ协议流程符合安全功能的要求。最后,在保证了改进后协议的安全性的基础上。考虑到软件实现RSSP-Ⅱ协议时CPU系统逻辑资源消耗过大、整体灵活性差且效率低的缺陷,同时RSSP-Ⅱ协议关键的MAC鉴别码算法自身不需要太多繁复的运算。因此本文使用硬件设计实现了基于AEST算法的MAC消息鉴别码和基于AESS算法的MAC鉴别码的生成过程,在QuartusⅡ环境下,联合Modelsim软件,运用Verilog语言对消息鉴别码MAC-AEST算法和MAC-AESS算法进行模块化硬件设计,仿真结果表明MAC-AEST算法和MAC-AESS算法和原算法相比具有更好的实时性,MAC-AESS算法可以稳定运行在更高的频率下,MAC-AEST算法逻辑资源消耗更少。综上所述,针对现有RSSP-Ⅱ安全通信协议中消息鉴定码方案（MASL-MAC）存在安全性差和效率低的缺陷。本文提出了消息鉴别码MAC-AEST算法和MAC-AESS算法,采用形式化建模中的通信顺序进程CSP方法,对改进后通信协议的密钥服务流程进行建模研究,验证了改进核心算法后协议的安全性,一定程度上提高了RSSP-Ⅱ协议的安全信息传输性能。在保证改进协议安全性的基础上,运用QuartusⅡ和Modelsim仿真软件进行算法正确性和性能验证。