机器博弈一直是人工智能领域最具挑战的研究方向之一,也被称为人工智能领域的试金石。机器博弈根据博弈者是否能获取所有场面信息,分为完备信息机器博弈与非完备信息机器博弈。生活中存在的绝大多数博弈问题都是非完备信息博弈,例如商品定价、买卖合作等。因此,研究非完备信息博弈问题具有十分重大的现实意义。非完备信息博弈中存在隐藏信息,博弈的复杂度相较于完备信息博弈更高,因而难以将传统用于处理完备信息博弈的方法直接应用于非完备信息博弈中。深度强化学习方法能够克服传统方法的技术缺陷,为求解具有高复杂度的非完备信息博弈问题的最优策略提供了全新的选择。因此,本文以四人竞技麻将为研究对象,对深度强化学习中的PPO算法存在的问题进行了改进,用于解决非完备信息机器博弈中麻将的出牌决策问题,并构建了麻将出牌决策模型。本文的主要工作和创新点如下:1.设计了一种四人麻将特征编码方法。结合了博弈搜索树算法获取四人麻将的前瞻信息,将四人麻将博弈的场面信息与前瞻信息进行了分类,并对不同类别的信息采用不同的编码方式。采用该特征编码方法得到类图片维度的特征矩阵,并将该特征矩阵作为麻将出牌决策模型的输入。通过实验表明,这种特征编码方法使麻将出牌决策模型有效提取博弈的场面信息并具备一定的前瞻性。2.设计了一种适用于麻将出牌决策模型的奖励函数。奖励函数在麻将出牌决策模型中起到至关重要的作用,它决定了模型的更新方向。在四人竞技麻将只有在每局游戏结束时才能计算得分,并且得分的方差较大,直接以得分作为奖励函数的值是稀疏且无法使用的。为解决该问题,本文结合知识的方法给出了中间步奖励,并对得分做了优化处理,以此设计了一种四人竞技麻将的奖励函数。3.提出了一种结合多种PPO优势的改进算法。这种算法结合了经典PPO1算法（能够根据KL散度直接控制模型训练时新老策略的差异）和PPO2算法（使用Clip函数计算简洁快速）的优势,能够避免PPO1算法计算复杂度高与PPO2算法中Clip函数控制新老策略差异失效的问题,实验验证了改进的PPO算法具有更好的性能。将该算法与改进的卷积神经网络相结合构建麻将出牌决策模型,并使用设计的训练策略对其进行训练,最后得到了高水平的麻将出牌决策模型。4.设计了一种多模式非完备信息博弈智能竞技平台。该平台实现了对博弈环境、博弈场景以及博弈对象的配置与管理。通过简单配置,能完成不同麻将决策模型之间的博弈,并保存了博弈对战数据与回放记录。博弈对战数据能够用来分析决策模型的博弈行为和博弈性能,回放记录能够为模型的改进提供了可视化参考。