论文部分内容阅读
目前,在MMOG(Massively Multiplayer Online Games)中应用的人工智能技术比较简单,强化学习算法可以实现更加复杂的游戏智能。由于MMOG具有实时性的特点,强化学习算法不能被很好的应用。因此研究适合MMOG的强化学习方法具有重要意义。本文在深入研究强化学习相关技术的基础上,针对MMOG中的动作型和策略型人工智能技术分别进行了研究。本文主要完成了以下两方面的工作:1.针对MMOG中的动作型人工智能技术,提出启发式加速评估Q学习算法(the Heuristically Accelerated Evaluated Q-Learning,HAE-QL)。该方法引入启发式和评估来加速标准Q学习算法。通过使用一个启发函数在学习过程中影响行动的选择,使用一个评估函数来评估所选择的动作,以减少不必要的探索,提高学习效率。为了保证该算法的有效性,启发函数和评估函数是根据Q函数来计算。同时,提出基于HAE-QL的卡尔曼滤波DR预测算法(the HAE-QL Kalman Filter Dead Reckoning,HQ-KDR),这样既可以保证NPC(Non Player Character)在通信延迟的情况下正确学习,又能保证学习的有效性。2.针对MMOG中的策略型人工智能技术,提出MMRL(MMOG Reinforcement Learning)算法。算法中NPC选择的策略是基于对其他NPC选择的策略的信任基础上,不同于现有的大部分算法是基于对行动的信任上。该算法只记录NPC学习失败的情况,由于失败的情况要比成功的情况少很多,历史知识空间会显著降低,有效的提高了算法的效率。同时,该算法使用历史记录对NPC学习的动作进行评估,进一步提高了算法的效率。实验证明HAE-QL方法和MMRL算法可以显著提高NPC的对抗性,并且能为MMOG中的NPC学习问题提供良好的支持。