合作现象在社会和生物系统中普遍存在,理解合作的演化动力学可以为克服社会困境和优化多智能体系统提供洞见。演化博弈理论为个体之间的策略动态交互提供了一个强有力的理论框架,一直吸引着生物学、数学、社会科学以及计算机科学领域的研究人员的关注。经典演化博弈主要研究博弈环境不变的演化情况,近年来,研究者们越来越关注博弈环境发生变化的情况。在已有的研究中,往往只考虑了单轮博弈的情况,博弈环境决定个体决策的改变,但是无法探索在长期博弈中个体的决策和博弈环境互相影响的演化过程。为此,近年提出了将随机博弈与演化博弈理论相结合的研究框架,考虑个体采用一步记忆策略,研究表明个体行为与环境之间的相互作用可以提供有效机制来提高合作行为。本文基于随机博弈与演化博弈理论,讨论在含ALLC,ALLD,WSLS,TFT四种经典策略的种群中,个体在基于两步记忆策略的随机博弈中的演化动力学。本文考虑含有两个不同收益的两人两策略博弈的随机博弈。首先,研究两个博弈模型同为囚徒困境类型博弈的状态独立确定性状态转移随机博弈的演化情况。研究发现,在合理的机制下,基于两步记忆策略的随机博弈可以促进合作的涌现,并且比基于一步记忆策略的随机博弈产生更高的稳定合作率。此外,进一步分析了重要的系统参数（如收益矩阵、学习率、错误率、种群大小）对演化的影响。结果显示,基于两步记忆策略的随机博弈的合作优势在这些参数下是具有鲁棒性的。同时,该随机博弈存在多种状态转移规则能让个体跳出囚徒困境,促进合作的涌现,为设计合理机制,推动合作行为提供有效方法。进一步分析发现,当状态转移规则中对合作行为的奖励越来越大时,稳定合作率也越来越大,并且WSLS策略和ALLC策略的成功与群体的合作行为的提高是强相关的。其次,本文对两个博弈模型为不同博弈类型的状态独立确定性状态转移随机博弈进行演化研究。考虑低收益博弈模型为囚徒困境博弈,高收益博弈模型为雪堆博弈或猎鹿博弈。本文结果显示,基于两步记忆策略的随机博弈同样可以提高和维持种群的合作行为。随后,改变高收益博弈模型的收益参数,深入探索种群中合作的演化与博弈收益和状态转移规则之间的动态演化关系。研究发现当状态转移规则满足高频次合作行为可以转移到高收益博弈时,可以有效地提高种群的合作行为。此时,如果高收益博弈的收益参数满足猎鹿博弈或和谐博弈,个体倾向于全合作;如果高收益博弈的收益参数满足囚徒困境博弈或雪堆博弈,当状态转移规则对背叛行为进行一定的惩罚时,同样会产生高合作率。最后,本文对两种具体的概率性状态转移随机博弈模型进行演化研究。其实验结果表明,只要合作行为有一定概率转移到高收益环境中,就能明显提高合作行为。