5G移动通信网作为“新基建”之首,其商业化进程正在不断加速。第三代合作伙伴计划（3rd Generation Partnership Project,3GPP）等标准化组织制定了许多新技术、新架构,以满足人们对移动通信极致用户体验的需求和各垂直行业的通信需求。然而新技术、新架构的应用也带来新的安全风险和挑战。5G网络的认证与密钥协商协议是一个庞大的协议体系,各协议各司其职又相互配合,共同完成对5G网络中各网络实体接入和访问等行为的控制,是保障5G网络安全的第一道防线。其中一部分协议沿用了4G时代的架构和方法,一部分协议为应对新场景、新需求采用了新架构、新方案。因此本文从两个角度对5G认证与密钥协商协议进行研究,即:4G遗留的安全问题和新架构、新方案带来的安全问题。面对5G多样的接入设备、多样的接入场景,3GPP等标准化组织设计了新的接入认证与密钥协商协议,致力于提供更加安全的设备接入机制、更全面的协议安全属性。然而,一方面协议的标准化工作仍在进行,某些场景下的认证与密钥协商协议尚未完善,另一方面现有的认证与密钥协议依然存在不足,有必要对其安全进行强化。本文依托国家科技重大专项课题“5G XX安全防护技术研究与验证”,重点对g NB（g Node B,5G基站）间的切换认证与密钥协商协议、5G的切片认证协议、网络功能（Network Function,NF）间的服务访问的认证协议开展研究,分析当前标准化工作的不足,并提出相应的安全增强方案。本文主要工作说明如下:1.切换过程的前向安全性问题是4G遗留到5G的一个安全问题。针对5G网络在g NB间的切换认证与密钥协商协议不满足一跳前向安全性的问题,提出了一种基于中国剩余定理（Chinese remainder theorem,CRT）的切换认证与密钥协商协议。协议设计思想是利用基于CRT的秘密共享方案,保护关键参数NCC和NH的传输。形式化工具Pro Verif安全分析结果表明,所提出的方案是安全的,可以实现切换的一跳前向安全性。效率分析表明所提出的协议效率较高。2.针对5G网络切片接入认证缺少标准化算法的问题,提出了一种基于NTRU的切片认证方法。首先详细分析了当前3GPP标准定义的切片认证流程,然后提出一种基于NTRU的切片认证方法,该方案将NTRU认证方法封装进3GPP的EAP框架中,对3GPP认证方案的改动较小,且实现了相互认证。然后用形式化方法GNY逻辑证明了所提协议的安全性,最后对比了所提方案和EAP-FAST、EAP-MD5的效率,结果表明基于NTRU的切片认证方法具有较高的效率。3.针对NF服务访问认证易受来自核心网内部攻击的问题,提出了一种基于变色龙哈希的NF服务访问机制。其基本思路是利用变色龙哈希强化JWT（JSON Web Token）令牌,通过变色龙哈希的签名使得JWT具有不可抵赖性和信任不可转移性。用形式化方法BAN逻辑证明了所提方案的安全性。同时对比了所提方案和3GPP方案的效率和鲁棒性,结果表明所提方案增加了一定的时间开销,具有更高的鲁棒性,当异常网络行为增多时,所提方案也具有效率优势。