论文部分内容阅读
摘 要： MAS（多Agent系统）环境同人类社会类似，充斥着大量不确定因素，因此，在MAS环境中引入信任对agent之间的交互至关重要。信任通常来源于直接信任和信誉两种途径，信誉系统是用于支持信任评价的机制。本文从信任的相关概念出发，针对几个重要的信任模型做了简要的分析。
关键词： 多Agent系统 信任 信任模型
各种各样的网络计算系统（例如网格，语义网和点对点网络）都可以被看做是一个多Agent系统（MAS），在MAS中的个体为了实现自己的目标执行自治、灵活的行为。这些系统的一个重要特征就是开放性：系统中的各个agent由追求各自利益的不同拥有者（stakeholder）所拥有，并且可以随时随地自由地加入和离开系统。因此在开放的MAS中，agents具有自私性和不可靠性，同时没有agent能确知环境的一切信息，也不存在一个中心控制agent可以控制所有的agent。在MAS系统中，一个agent往往需要另一个agent提供服务以实现自己的目标，提供服务的agent称为provider，接受服务的称为consumer。由于上述的不确定性，agent提供服务的质量并不是一成不变的，因此如何选择服务质量优异、稳定可靠的agent是一个重要问题。信任和名誉代表了agent服务质量的期望值，通过对agent的信任和名誉的比较可以确定其服务的优劣和可靠性，因而其研究越来越受到重视。
1.信任的相关概念
MAS中的信任还没有一个统一定义，MAS中的信任是以合作为背景的，agent的合作需要交互，可以从合作中获得收益。Agent在交互前需要通过评价，选择能满足其交互目的合作者，决定何时、同谁及如何进行交互。这种信任主要考察合作者能否完成所委托的任务，是以agent的能力、意图等内部特征为基础的信任。由于评价在前，而收益要待合作完成后通过观察才能得到，因此信任是站在评价者角度的一种主观判断，面临判断不准确的风险。为方便表述，实施信任评价的主体称为评价Agent a，被评价的合作者称为目标Agent b。
同人类社会类似，信任通常来源于两种途径：一种是直接信任，是评价agent依靠自己的知识和以往交互中获得的直接经验判断得出的信任，反映评价agent的主观观点；另一种称为信誉，是通过收集评价agent所处的社会中其他agent对目标agent的观点，经推理得出的信任。显然，信誉是信任的一个组成部分，但信誉又是基于别的agent的直接信任产生的，信誉来自于信任，直接信任强调评价agent自己的观点，而信誉是来自社会其他成员观点的汇总。另外，信誉可以针对个体，也可以针对群体。
信誉系统（reputation system）是用于支持信任评价的机制，在信誉系统中，由于评价agent的能力有限，仅使用直接信任不足以甚至不能完成评价，必须参照社会中其他agent提供的信誉信息。当只涉及直接信任时，信誉系统只需要解决如何表达信任和如何计算信任的问题，引入信誉后，还要解决如何收集并汇总信誉的问题。这样就产生另外一个难题，自利（self-interest）的agent可能会通过提供不真实的信息以得到高额回报，评价agent需要识别出不精确信息并采取有效措施，免受其负面影响而遭受损失.
2.信任模型
2.1FIRE模型
FIRE模型是一个集成信任（trust）与信誉（reputation）的独立于应用的开放MAS中的分布式信誉系统模型，采用4种部件共同完成信任的评价，这4种部件分别为：（1）基于直接经验的交互信任（interaction trust，IT）；（2）根据评价agent与目标agent角色定义的基于规则的信任（role—based trust，RT）；（3）由证人提供的信息计算得到的证人信誉（witness reputation，WR）；（4）由目标agent主动向评价agent提供的第三方参考（certified reputation，CR）。前两种部件是直接信任，而后两种是信誉。
2.1.1 Interaction Trust
Interaction trust（IT）表示了两个agent之间直接交互（服务与被服务）所形成的信任关系，来源于Regret模型。设Agent a是接受服务的Agent，b是提供服务的Agent。在a接受b的服务后，类似于商业交易，a根据b的服务质量、价格、完成时间等给出如下形式的评价：r =（a ，b， i ，c， v），a和b分别代表Agent a及Agent b，i表示a和b本次交互的时间或序号，v是a给出的对b的服务的评价，v∈[-1，1]，-1意味服务绝对得差，1相反，0表示居中。c是a给出评价v的条件，表示服务质量、价格、完成时间等。
2.1.2 Role-based trust
RT来源于现实中的agent关系，例如属于同一个组织，agent的拥有者是友好关系或有相关性。RT表示了这种现实中的agent关系。因为很难找到通用的这种关系表示方法，FIRE模型应用“规则（rules）”来表示RT。规则的形式：rul=（rolea，roleb， c ，e ，v）， rolea与roleb分别表示Agent a与Agent b的角色，v是在条件c下的a给予b的信任值，e∈[0，1]是该规则对结果RT的影响程度或者是Agent a对于这条规则的信心程度，也是该规则的加权系数。可能的规则例如 rul1 =（buyer，seller，quality，-0.2，0.3）， rul2 =（-，government-seller ，quality，0，0.8）。规则1表示普通的seller出售的产品的质量比承诺的要低一些（-0.2），但该规则本身的可靠性较低（0.3）。规则2表示一个更可靠的规则（0.8）：政府seller出售的产品质量与承诺的一致。 2.1.3 Witness reputation
系统中可能有多个agent与Agent b合作过，因此，Agent a可以向相关agent查询以获取他们对b的评价，其结果称为witness reputation。其过程如下：
2.1.3.1Agent a向它的“熟人”中有可能与目标合作过的nBF个熟人发出形式如（-，b， c，-，-）的查询。
2.1.3.2（2）收到查询的熟人agent查询自己的本地IT数据库，如果有相同形式的记录，则意味着它们曾经与Agent b有过交互，此时，将相应记录返回。
2.1.3.3如果没有，则向a返回它自己可能与目标合作过的nBF个熟人，以便Agent a继续查询。
2.1.3.4不断重复上述过程，直到收集到足够的记录，或者查询被转发的次数超过事先的设定值nRL。
2.1.4 Certified Reputation
当agent没有与目标Agent合作过（使用其服务），并且查询熟人因为种种原因未找到相关记录，系统中也缺乏RT规则，例如一个刚加入系统的agent可能遭遇这种状况，那么CR的存在就可以让信任与名誉的计算继续。
2.1.5 总体性能
2.2改进的CR （certified reputation）
在FIRE模型中的CR已经取得很好的性能，但是由于第三方Agent（referee）的自私性可能与目标Agent合谋导致其说谎，这样的话CR的性能就会大大降低。为此，我们提出了改进的CR。
在改进的CR模型里增加一个机制，该机制用来评估第三方Agent （referee）的可信度，以此评估它所提供的目标Agent的信息的可靠性。通过记录第三方Agent过去所提供目标Agent的信息的可靠程度评定第三方Agent（referee）的信任度。
2.3基于维护的信任评估模型
现有的信任评估模型已经很多并且都各具优缺点。基于维护的信任模型的提出就是为了提高现有的评估模型。该模型主要有两个特点：首先，agents之间根据以前的交互历史进行交互合作。将所获得的评定等级收集起来用以评估一个特定Agent的信任值。评定一个未知的Agent（与该Agent无交互历史），我们通过第三方Agent（consulting agent）提供的信息来评定。我们的评定依据主要有时间性（time recency）、交互强度（interaction strength）、精确性（accuracy）。其次，评价Agent（trustor）在与目标Agent直接交互一段时间以后执行一个维护过程，该维护过程根据第三方Agent（consulting agent）提供的信息与目标Agent实际的表现来修改第三方Agent的可信度。如果第三方Agent（consulting agent）提供的信息与目标第三方Agent（consulting agent）提供的信息实际的表现相差超过预先设定的阈值，评价Agent（trustor） 就会修改它对第三方Agent（consulting agent）提供的信息的可信度值。这样评价Agent（trustor）就会可以根据此可信度值来选择最为可信的第三方Agent，从而选择出信任值最好的目标Agent。
2.4通过STEREOTYPES评估信任
在一个开放的、动态的多Agent系统中，agent之间可能为了实现某一目标而临时组成一个组织，在这种情况下，信任和信誉对于agent之间进行能够有效交互就显得至关重要。Agent要依据其他agent的信任值去避免与一个不守信的agent合作。然而，这个临时组织的生存周期很短，所以agents也许没有足够的时间对它们的合作者建立一个有效的信任评估。一种情况就是当一个agent进入一个组织时，其他的agent还没有与它进行交互所以不能评估它的信任值。我们将刚进入该组织的那个agent称作新来者（new comer）。另一种情况就是当临时组织中的各个agent刚刚加入到该组织的时候，因为还没有开始交互（也就是还没有交互历史），我们称这个时期为“冷开始问题”（cold-start），这样的话就无法获得agent的信任值，从而无法正确选择合作者而导致结果的低效。
基于上述情况，提出STEREOTYPES方法。该方法就是对于每一个agent，根据它以前的交互情况来评估它的信任值，然后给它分配一个信任等级（例如信任、不信任、不确定、基值），在这个信任等级中的基值是对一个新的agent（在所有的多Agent系统里都没有交互历史的agent）分配一个基本值（例如信任值为0.5）。我们把每个agent的信任等级作为STEREOTYPES。对于上述两种情况（new comer），我们可以根据它的STEREOTYPES来作为我们选择合作者的依据。该方法在多Agent系统中的agents交互时有一个信任评估的学习阶段L，在此阶段该方法的性能不是很好，但是接下来的时间里该方法表现出很强的性能，所以L的选择就非常重要。
3.结语
由于开放的多Agent系统的不确定性，使得信任在agent交互中起到了至关重要的作用。现有的信任模型已经取得了很好的效果，但是仍然有待提高。通过STEREOTYPES评估信任模型里L值的确定是事先定义的，我们需要改进的就是通过自动计算来得到该值。当然，正是信任如此重要，所以我们有更大的动力提高这一点。
参考文献：
[1]C. Burnett，T. J. Norman and K. Sycara， Bootstrapping Trust Evaluations through Stereotypes， Proc. of 9th Int. Conf. on Autonomous Agents and Multiagent Systems （AAMAS 2010），10-14，2010， Toronto， Canada， pp. [2]Paul-Amaury Matt， Maxime Morge and Francesca Toni， Combining statistics and arguments to compute trust， Proc. of 9th Int.Conf. on Autonomous Agents and Multiagent Systems （AAMAS 2010）， 10-14， 2010， Toronto， Canada， pp.209-216.
[3]Babak Khosravifar，Maziar Gomrokchi，Jamal Bentahar，Philippe Thiran. Maintencance-based Trust for Multi-Agent System， Proc. of 8th Int. Conf. on Autonomous Agents and Multiagent Systems （AAMAS 2009）， 10-15 2009， Budapest， Hungary， pp.1017-1024.
[4]T. Dong-Huynh， N.R. Jennings and N.R. Shadbolt. Certified reputation： How an agent can trust a stranger. In Proceedings of The 5’th International Joint Conference on Autonomous Agents and Multiagent Systems， pp. 1217-1224， Japan， 2006.
[5]T. Dong-Huynh， N.R. Jennings and N.R. Shadbolt. Fire： An integrated trust and reputation model for open multi-agent systems. Journal of Autonomous Agents and Multi-Agent Systems 13（2）：119-154， 2006.
[6]P. Dondio and S. Barrett. Presumptive selection of trust evidences. In AAMAS， 2007.
关键词： 多Agent系统 信任 信任模型
各种各样的网络计算系统（例如网格，语义网和点对点网络）都可以被看做是一个多Agent系统（MAS），在MAS中的个体为了实现自己的目标执行自治、灵活的行为。这些系统的一个重要特征就是开放性：系统中的各个agent由追求各自利益的不同拥有者（stakeholder）所拥有，并且可以随时随地自由地加入和离开系统。因此在开放的MAS中，agents具有自私性和不可靠性，同时没有agent能确知环境的一切信息，也不存在一个中心控制agent可以控制所有的agent。在MAS系统中，一个agent往往需要另一个agent提供服务以实现自己的目标，提供服务的agent称为provider，接受服务的称为consumer。由于上述的不确定性，agent提供服务的质量并不是一成不变的，因此如何选择服务质量优异、稳定可靠的agent是一个重要问题。信任和名誉代表了agent服务质量的期望值，通过对agent的信任和名誉的比较可以确定其服务的优劣和可靠性，因而其研究越来越受到重视。
1.信任的相关概念
MAS中的信任还没有一个统一定义，MAS中的信任是以合作为背景的，agent的合作需要交互，可以从合作中获得收益。Agent在交互前需要通过评价，选择能满足其交互目的合作者，决定何时、同谁及如何进行交互。这种信任主要考察合作者能否完成所委托的任务，是以agent的能力、意图等内部特征为基础的信任。由于评价在前，而收益要待合作完成后通过观察才能得到，因此信任是站在评价者角度的一种主观判断，面临判断不准确的风险。为方便表述，实施信任评价的主体称为评价Agent a，被评价的合作者称为目标Agent b。
同人类社会类似，信任通常来源于两种途径：一种是直接信任，是评价agent依靠自己的知识和以往交互中获得的直接经验判断得出的信任，反映评价agent的主观观点；另一种称为信誉，是通过收集评价agent所处的社会中其他agent对目标agent的观点，经推理得出的信任。显然，信誉是信任的一个组成部分，但信誉又是基于别的agent的直接信任产生的，信誉来自于信任，直接信任强调评价agent自己的观点，而信誉是来自社会其他成员观点的汇总。另外，信誉可以针对个体，也可以针对群体。
信誉系统（reputation system）是用于支持信任评价的机制，在信誉系统中，由于评价agent的能力有限，仅使用直接信任不足以甚至不能完成评价，必须参照社会中其他agent提供的信誉信息。当只涉及直接信任时，信誉系统只需要解决如何表达信任和如何计算信任的问题，引入信誉后，还要解决如何收集并汇总信誉的问题。这样就产生另外一个难题，自利（self-interest）的agent可能会通过提供不真实的信息以得到高额回报，评价agent需要识别出不精确信息并采取有效措施，免受其负面影响而遭受损失.
2.信任模型
2.1FIRE模型
FIRE模型是一个集成信任（trust）与信誉（reputation）的独立于应用的开放MAS中的分布式信誉系统模型，采用4种部件共同完成信任的评价，这4种部件分别为：（1）基于直接经验的交互信任（interaction trust，IT）；（2）根据评价agent与目标agent角色定义的基于规则的信任（role—based trust，RT）；（3）由证人提供的信息计算得到的证人信誉（witness reputation，WR）；（4）由目标agent主动向评价agent提供的第三方参考（certified reputation，CR）。前两种部件是直接信任，而后两种是信誉。
2.1.1 Interaction Trust
Interaction trust（IT）表示了两个agent之间直接交互（服务与被服务）所形成的信任关系，来源于Regret模型。设Agent a是接受服务的Agent，b是提供服务的Agent。在a接受b的服务后，类似于商业交易，a根据b的服务质量、价格、完成时间等给出如下形式的评价：r =（a ，b， i ，c， v），a和b分别代表Agent a及Agent b，i表示a和b本次交互的时间或序号，v是a给出的对b的服务的评价，v∈[-1，1]，-1意味服务绝对得差，1相反，0表示居中。c是a给出评价v的条件，表示服务质量、价格、完成时间等。
2.1.2 Role-based trust
RT来源于现实中的agent关系，例如属于同一个组织，agent的拥有者是友好关系或有相关性。RT表示了这种现实中的agent关系。因为很难找到通用的这种关系表示方法，FIRE模型应用“规则（rules）”来表示RT。规则的形式：rul=（rolea，roleb， c ，e ，v）， rolea与roleb分别表示Agent a与Agent b的角色，v是在条件c下的a给予b的信任值，e∈[0，1]是该规则对结果RT的影响程度或者是Agent a对于这条规则的信心程度，也是该规则的加权系数。可能的规则例如 rul1 =（buyer，seller，quality，-0.2，0.3）， rul2 =（-，government-seller ，quality，0，0.8）。规则1表示普通的seller出售的产品的质量比承诺的要低一些（-0.2），但该规则本身的可靠性较低（0.3）。规则2表示一个更可靠的规则（0.8）：政府seller出售的产品质量与承诺的一致。 2.1.3 Witness reputation
系统中可能有多个agent与Agent b合作过，因此，Agent a可以向相关agent查询以获取他们对b的评价，其结果称为witness reputation。其过程如下：
2.1.3.1Agent a向它的“熟人”中有可能与目标合作过的nBF个熟人发出形式如（-，b， c，-，-）的查询。
2.1.3.2（2）收到查询的熟人agent查询自己的本地IT数据库，如果有相同形式的记录，则意味着它们曾经与Agent b有过交互，此时，将相应记录返回。
2.1.3.3如果没有，则向a返回它自己可能与目标合作过的nBF个熟人，以便Agent a继续查询。
2.1.3.4不断重复上述过程，直到收集到足够的记录，或者查询被转发的次数超过事先的设定值nRL。
2.1.4 Certified Reputation
当agent没有与目标Agent合作过（使用其服务），并且查询熟人因为种种原因未找到相关记录，系统中也缺乏RT规则，例如一个刚加入系统的agent可能遭遇这种状况，那么CR的存在就可以让信任与名誉的计算继续。
2.1.5 总体性能
2.2改进的CR （certified reputation）
在FIRE模型中的CR已经取得很好的性能，但是由于第三方Agent（referee）的自私性可能与目标Agent合谋导致其说谎，这样的话CR的性能就会大大降低。为此，我们提出了改进的CR。
在改进的CR模型里增加一个机制，该机制用来评估第三方Agent （referee）的可信度，以此评估它所提供的目标Agent的信息的可靠性。通过记录第三方Agent过去所提供目标Agent的信息的可靠程度评定第三方Agent（referee）的信任度。
2.3基于维护的信任评估模型
现有的信任评估模型已经很多并且都各具优缺点。基于维护的信任模型的提出就是为了提高现有的评估模型。该模型主要有两个特点：首先，agents之间根据以前的交互历史进行交互合作。将所获得的评定等级收集起来用以评估一个特定Agent的信任值。评定一个未知的Agent（与该Agent无交互历史），我们通过第三方Agent（consulting agent）提供的信息来评定。我们的评定依据主要有时间性（time recency）、交互强度（interaction strength）、精确性（accuracy）。其次，评价Agent（trustor）在与目标Agent直接交互一段时间以后执行一个维护过程，该维护过程根据第三方Agent（consulting agent）提供的信息与目标Agent实际的表现来修改第三方Agent的可信度。如果第三方Agent（consulting agent）提供的信息与目标第三方Agent（consulting agent）提供的信息实际的表现相差超过预先设定的阈值，评价Agent（trustor） 就会修改它对第三方Agent（consulting agent）提供的信息的可信度值。这样评价Agent（trustor）就会可以根据此可信度值来选择最为可信的第三方Agent，从而选择出信任值最好的目标Agent。
2.4通过STEREOTYPES评估信任
在一个开放的、动态的多Agent系统中，agent之间可能为了实现某一目标而临时组成一个组织，在这种情况下，信任和信誉对于agent之间进行能够有效交互就显得至关重要。Agent要依据其他agent的信任值去避免与一个不守信的agent合作。然而，这个临时组织的生存周期很短，所以agents也许没有足够的时间对它们的合作者建立一个有效的信任评估。一种情况就是当一个agent进入一个组织时，其他的agent还没有与它进行交互所以不能评估它的信任值。我们将刚进入该组织的那个agent称作新来者（new comer）。另一种情况就是当临时组织中的各个agent刚刚加入到该组织的时候，因为还没有开始交互（也就是还没有交互历史），我们称这个时期为“冷开始问题”（cold-start），这样的话就无法获得agent的信任值，从而无法正确选择合作者而导致结果的低效。
基于上述情况，提出STEREOTYPES方法。该方法就是对于每一个agent，根据它以前的交互情况来评估它的信任值，然后给它分配一个信任等级（例如信任、不信任、不确定、基值），在这个信任等级中的基值是对一个新的agent（在所有的多Agent系统里都没有交互历史的agent）分配一个基本值（例如信任值为0.5）。我们把每个agent的信任等级作为STEREOTYPES。对于上述两种情况（new comer），我们可以根据它的STEREOTYPES来作为我们选择合作者的依据。该方法在多Agent系统中的agents交互时有一个信任评估的学习阶段L，在此阶段该方法的性能不是很好，但是接下来的时间里该方法表现出很强的性能，所以L的选择就非常重要。
3.结语
由于开放的多Agent系统的不确定性，使得信任在agent交互中起到了至关重要的作用。现有的信任模型已经取得了很好的效果，但是仍然有待提高。通过STEREOTYPES评估信任模型里L值的确定是事先定义的，我们需要改进的就是通过自动计算来得到该值。当然，正是信任如此重要，所以我们有更大的动力提高这一点。
参考文献：
[1]C. Burnett，T. J. Norman and K. Sycara， Bootstrapping Trust Evaluations through Stereotypes， Proc. of 9th Int. Conf. on Autonomous Agents and Multiagent Systems （AAMAS 2010），10-14，2010， Toronto， Canada， pp. [2]Paul-Amaury Matt， Maxime Morge and Francesca Toni， Combining statistics and arguments to compute trust， Proc. of 9th Int.Conf. on Autonomous Agents and Multiagent Systems （AAMAS 2010）， 10-14， 2010， Toronto， Canada， pp.209-216.
[3]Babak Khosravifar，Maziar Gomrokchi，Jamal Bentahar，Philippe Thiran. Maintencance-based Trust for Multi-Agent System， Proc. of 8th Int. Conf. on Autonomous Agents and Multiagent Systems （AAMAS 2009）， 10-15 2009， Budapest， Hungary， pp.1017-1024.
[4]T. Dong-Huynh， N.R. Jennings and N.R. Shadbolt. Certified reputation： How an agent can trust a stranger. In Proceedings of The 5’th International Joint Conference on Autonomous Agents and Multiagent Systems， pp. 1217-1224， Japan， 2006.
[5]T. Dong-Huynh， N.R. Jennings and N.R. Shadbolt. Fire： An integrated trust and reputation model for open multi-agent systems. Journal of Autonomous Agents and Multi-Agent Systems 13（2）：119-154， 2006.
[6]P. Dondio and S. Barrett. Presumptive selection of trust evidences. In AAMAS， 2007.