随着互联网应用的高速普及和发展,应用层安全加密协议成为保护应用层通信隐私的重要手段。自从保护TCP通信的安全传输层协议(TLS)问世后,保护UDP通信的数据报传输层安全性协议(DTLS)也应运而生。DTLS协议的1.0和1.2版分别基于TLS的1.1和1.2版,大部分规范与TLS相同。双方其中一个不同点是DTLS采取了显式的序列号,置于通信包的记录层部分,由0递增,用于抗重放攻击。但DTLS该抗重放机制的设定存在缺陷,可以造成针对DTLS服务端的DoS攻击。本文从DTLS协议出发,分析其与TLS抗重放和抗DoS的异同,揭示DTLS抗重放机制的缺陷,并设计了两种解决方案,提供在Windows上的实现样例。论文的主要研究内容与创新如下:1.发现了DTLS协议抗重放部分相关缺陷。本文通过描述TLS和DTLS在相关机制上的异同,指出DTLS抗重放部分存在DoS攻击漏洞,并通过实验进行演示。DTLS容忍接收方检测到携带重放序列号的数据包后可以不断开连接,由此产生DoS安全问题。2.设计了一种基于修改协议规范的解决方案。该方案在DTLS原来的协议规范基础上,增加检测机制,设定接收次数上限,规定服务端若连续接收重放序列号达到该上限次数后就断开DTLS连接,能够让DTLS服务器不受该攻击的影响。3.设计了一种基于监控时间的解决方案。该方案通过监控DTLS服务端在握手和正式通信时接收行为的运行时间,从而确定服务端是否受到了基于序列号重放攻击的DoS攻击。对于服务器,记录接收前的时间,并在相应时限之后进行检查,用当前时间与之前时间相减,得到的差即为判断依据。该方案较之修改协议的方案更具有可移植性。