智能决策是人工智能领域的重要发展方向之一,可在博弈环境中基于强化学习方法来实现。传统强化学习方法中一般将参与交互的其他智能体即对手看作环境的一部分,由于未考虑对手的行为特征,可能会导致误判而影响决策结果。因此对博弈中参与交互的对手进行建模成为研究的一个热点问题。当前的对手建模技术多数都着眼于固定的对手策略,而在现实中的对手策略通常是动态变化的。采取动态策略的对手智能体在博弈时,其策略的变化会导致智能体的收益下降。此外,大多数的建模技术都是显式建模,此方法分离了建模和规划的过程,对预测信息的利用需要大量的领域知识。本文提出了动态对手策略条件下的隐式智能体建模方法,将对手建模融入到博弈智能体的强化学习训练中,利用对手的行为信息优化智能体的决策。本文主要创新点及贡献如下:首先,在博弈环境中对对手特征进行隐式建模,将对手模型编码至神经网络模型中,通过融合双路输出得到最终动作估值以提高模型更新效率。具体地,本文提出了两种包含对手模型的Q网络模型。一种是采用全连接方式整合状态网络和对手网络;另一种是通过权重网络对多个次级专家子网络进行整合。由于不需要特定的领域知识进行学习,本模型具有较强的泛化能力。其次,针对当前强化学习算法中因最大化操作而产生的过度估计问题,本文对算法中动作选择过程和动作估值过程进行解耦,分别使用不同的网络进行动作的选择和对动作进行估值,从而可以避免动作价值的过度估计问题。最后,构建了两个博弈测试环境:模拟足球游戏和知识问答游戏。实验结果表明,引入对手建模能够有效解决动态博弈环境中由于对手动态策略所导致的收益不稳定问题,且相较于基准模型,基于本文对手模型及学习算法的博弈智能体能够取得更好的决策表现,证明了本文对手模型及学习算法的有效性。