论文部分内容阅读
随着互联网络的迅速发展,人们倾向于将越来越多的互联系统看作是多个相互交互的自主智能体,这种面向智能体的方法学为我们分析、设计、实施和评价复杂的分布式系统提供了强有力的工具。多智能体系统(MAS)和智能体技术正是在这个背景下提出并发展起来的。作为分布式人工智能(DAI)中一个分支学科,MAS从20世纪80年代开始研究,到90年代得到广泛认同,目前正逐渐引起越来越多的关注和研究。在分布、互联、自治的网络环境下,电子市场成为一个热点的应用领域。这主要是因为经济全球化和信息技术的推动,使得每个企业能够随时收集市场信息并变更行为,因此每个企业都处在一个竞争的、不断动态变换的市场下。而电子市场具有信息集中,决策迅速的优势,因此日益成为协调生产、制造和销售等环节的有效手段。 本文的研究内容可以从理论和应用两个层面来概括。在理论层面上属于MAS领域,内容涵盖了MAS研究领域的主要方面,包括:多智能体学习、推理、协商、交互机制等等;在应用层面上围绕电子市场的实际应用,讨论了电子市场定价、物流配货、原料配置、C2C交易协商、B2C协商等问题。本文的创新点主要可以从以下几方面来概括。 1、针对协调博弈提出了基于内省推理的多智能体在线学习方法(ⅡFPQL),将基于对手模型的客观观察行为与基于换位思考推理的主观意图推测结合起来,智能体通过推理得到了更多的对手信息,因此能够取得更好的协调性能。仿真结果证实了算法在少数者博弈和经典协调博弈中的有效性。 2、将电子市场定价问题建模为一个多吸收状态的马尔可夫博弈模型,并通过仿真实验在定价模型上验证了ⅡFPQL算法的有效性,结果表明ⅡFQPL算法能够使得卖方智能体在合作还是竞争的问题上表现出长远的智能行为。 3、给出了三个分布式环境下的多智能体合作学习方法。针对Q学习状态空间大,收敛速度慢的问题,首先给出了一种基于黑板模型的多智能体合作学习方法(BBMML),智能体之间通过开关函数协调了对Q表的更新,避免了无效的更新,加快了收敛速度;进一步在BBMML基础上给出了多智能体学习的进化算法(E-BBMML),智能体通过繁殖操作,能够更快的找到状态—动作空间的有效更新;最后给出了一种基于状态空间划分的多智能体在线合作学习方法(SSPML),使得智能体在特定的子空间上进行特化,从而能够较快的学习到局部最优的行为。仿真实验表明BBMML和E-BBMML能够加快收敛速度,SSPML能够取得比全局学习更好的在线学习性能。 4、基于市场机制建立了多智能体之间的协商模型(MMN),市场智能体作为中间人通过市场规则对智能体的个体选择进行综合并将综合后的结果反馈给每个智能体,这一机制较好的总结了各个终端智能体的个体信息,从而优化个体行为。以电子市场原料配置为例进行了仿真实验,实验表明MMN使得每个智能体的效用都有所改善,从而改善了系统的全局收益;进一步,为适应