论文部分内容阅读
编者按：
随着越来越多的政府部门采用自动决策系统，公共机构将需要一种方式来处理随之而来的诸如公平、正义、法律正当程序等风险，同时又要将受影响群体纳入对话中。本文提出的算法影响评估为机构提供了一个框架，帮助他们明白自己所应用的自动决策系统，并让公众更深入地了解自动决策系统的工作原理。通过公开通知、自我评估、研究人员和专家审核以及正当法律程序机制，算法影响评估将帮助政府做好准备，应对自动决策系统所带来的风险。
2013年2月，艾瑞克·卢米斯因为偷盗了一辆曾被用于一起枪击案的汽车被法院判处6年有期徒刑，对于他被控的罪名而言，这是相当重的判罚。为此，卢米斯不服判决，提出上诉，理由是法官在量刑调查环节中使用了预测性算法COMPAS——一款基于大数据识别罪犯风险程度的评估工具。他认为法院依据软件对其“再次犯罪”进行风险评估，并基于评估结果对其加大量刑的做法违背了正当的法律程序，而且公众并不知道软件是依据什么参数或指标进行的风险评估。这个案例一路打到美国最高法院。2016年7月13日威斯康辛州最高法院做出终审判决，维持一审法院的量刑意见。
实际上，这一起特殊案件的最终结果并没有其提出的问题重要，即在刑事司法系统中采用自动决策系统（Automated decision systems 简称ADS）对公平、正义是否有影响。有研究认为看似客观公平的COMPAS代替人进行自动化决策，虽然大大提升了效率，但它倾向于高估某些特定人群的再犯罪可能性，而这极可能因为已有数据不准确或者设计者的固有偏见所致。此外，算法对于受影响人群来说几乎就是“黑盒子”，其保密性和不可解释性更是让人们无法知晓这些系统自行决策时究竟是不是比人类更加公平公正。
当然，对于大数据和人工智能的冷思考并不代表对它们的排斥，因为在司法领域自动决策系统的运用已是大势所趋，并且在就业、保险、教育等领域自动评估工具和算法匹配的应用也日益广泛，比如由算法决定求职者是否适合这份工作，决定你是否应该付更高的汽车保险费。但对于由机器做决策，外界也不乏质疑，关于如何充分评估这些系统的影响，人们更是提出了诸多问题：它们为哪些人的利益服务？它们是否足够“聪明”以对抗复杂的社会和历史环境？除了公平正义，算法的透明度与可责性如何解决？这些问题都是令人担忧的，因为如果不了解现有自动决策系统的使用情况，不知晓公共机构如何使用这些系统以及这些系统会导致哪些意外后果，那么司法部门等使用自动决策系统的公共机构就不可能与公众展开对话，进行明智的政策辩论。
为此，公共机构迫切需要一个实用的框架来评估自动决策系统来解决潜在问题，并确保算法的可责性（accountability），即在对算法结果不满意时，对算法进行审核。2018年4月，由纽约大学、谷歌、微软等组织的公共政策研究者组成的 AI Now研究院发布了一份报告“ALGORITHMIC IMPACT ASSESSMENTS： A PRACTICAL FRAMEWORK FOR PUBLIC AGENCY ACCOUNTABILITY”。报告为公共機构提供了一种实用性的问责框架，即算法影响评估（algorithmic impact assessment，简称AIA），结合了机构审核和公众参与，帮助那些受影响的社区和利益相关方评估该系统的主张并确定系统在哪些情况可用或者是否可用。其实，不仅受影响群体缺乏必要的信息来评估自动决策系统如何工作，政府部门自身也在努力评估这些系统的使用，探究它们是否产生了差异性影响以及思考如何让算法承担责任。
报告中提出的公共机构算法影响评估的关键要素包括：
1.机构应对现有的和拟用的自动决策系统进行自评，评估其对公平、正义、偏见及其他方面的潜在影响；
2.机构应开发外部研究员审核程序，发现、衡量或长期追踪系统的影响；
3.机构应向公众披露他们对于“自动决策系统”的定义（无论是现行的还是拟用的系统）、使用目的、范围、时间、内部使用策略等，同时还要披露在系统采用之前的任何相关自评和研究员审核过程；
4.机构应征求公众意见，讲清楚公众的担忧并就突出问题进行解答；
5.政府部门应为受影响个人或群体提供正当法律诉讼机制，以应对评估不足、不公平、有偏见等挑战以及其他的机构未能减轻或纠正的有害的系统使用。
如果政府在没有问责框架的情况下部署自动决策系统，他们很可能与制定决策的过程失联，进而很难识别或应对偏见、错误或其他问题。公众对机构如何运作了解较少，他们质疑或诉诸决策的权利也会更小。
迫于这种担忧的紧迫性，AI Now研究院呼吁停止在核心公共机构使用未经审核的“黑箱子”系统。他们认为向自动决策及预警系统的转变不能妨碍机构履行责任，保护公民诸如公平、正义、正当法律程序的基本民主价值，防范诸如非法歧视或权利剥夺等威胁。
算法影响评估虽并不是解决自动决策系统的“万灵丹”，但它确实提供了一种重要的机制来告知公众，并让决策者和研究人员参与到富有成效的对话中来，实现以下四个主要目标：
1. 通过公开列出并描述自动决策系统对个人和社区的影响，既尊重了公众的知情权同时也让他们了解到了哪些系统在影响他们的生活；
2. 增加公共机构内部的专业知识和能力评估他们构建或采购的系统，这样他们就能够预见那些可能引起关注的问题，例如差异性影响或对正当法律程序的违反；
3.通过为外部研究人员提供一个有意义的、持续的机会来审查、审计、评估这些系统，确保了自动决策系统更大的可责性；
4.确保公众有机会回应并在必要时对某一特定系统的使用或机构的算法问责方法提出异议。
编辑|胡文娟 [email protected]
部分内容编译自AI Now研究院报告“ALGORITHMIC IMPACT ASSESSMENTS： A PRACTICAL FRAMEWORK FOR PUBLIC AGENCY ACCOUNTABILITY”
随着越来越多的政府部门采用自动决策系统，公共机构将需要一种方式来处理随之而来的诸如公平、正义、法律正当程序等风险，同时又要将受影响群体纳入对话中。本文提出的算法影响评估为机构提供了一个框架，帮助他们明白自己所应用的自动决策系统，并让公众更深入地了解自动决策系统的工作原理。通过公开通知、自我评估、研究人员和专家审核以及正当法律程序机制，算法影响评估将帮助政府做好准备，应对自动决策系统所带来的风险。
2013年2月，艾瑞克·卢米斯因为偷盗了一辆曾被用于一起枪击案的汽车被法院判处6年有期徒刑，对于他被控的罪名而言，这是相当重的判罚。为此，卢米斯不服判决，提出上诉，理由是法官在量刑调查环节中使用了预测性算法COMPAS——一款基于大数据识别罪犯风险程度的评估工具。他认为法院依据软件对其“再次犯罪”进行风险评估，并基于评估结果对其加大量刑的做法违背了正当的法律程序，而且公众并不知道软件是依据什么参数或指标进行的风险评估。这个案例一路打到美国最高法院。2016年7月13日威斯康辛州最高法院做出终审判决，维持一审法院的量刑意见。
实际上，这一起特殊案件的最终结果并没有其提出的问题重要，即在刑事司法系统中采用自动决策系统（Automated decision systems 简称ADS）对公平、正义是否有影响。有研究认为看似客观公平的COMPAS代替人进行自动化决策，虽然大大提升了效率，但它倾向于高估某些特定人群的再犯罪可能性，而这极可能因为已有数据不准确或者设计者的固有偏见所致。此外，算法对于受影响人群来说几乎就是“黑盒子”，其保密性和不可解释性更是让人们无法知晓这些系统自行决策时究竟是不是比人类更加公平公正。
当然，对于大数据和人工智能的冷思考并不代表对它们的排斥，因为在司法领域自动决策系统的运用已是大势所趋，并且在就业、保险、教育等领域自动评估工具和算法匹配的应用也日益广泛，比如由算法决定求职者是否适合这份工作，决定你是否应该付更高的汽车保险费。但对于由机器做决策，外界也不乏质疑，关于如何充分评估这些系统的影响，人们更是提出了诸多问题：它们为哪些人的利益服务？它们是否足够“聪明”以对抗复杂的社会和历史环境？除了公平正义，算法的透明度与可责性如何解决？这些问题都是令人担忧的，因为如果不了解现有自动决策系统的使用情况，不知晓公共机构如何使用这些系统以及这些系统会导致哪些意外后果，那么司法部门等使用自动决策系统的公共机构就不可能与公众展开对话，进行明智的政策辩论。
为此，公共机构迫切需要一个实用的框架来评估自动决策系统来解决潜在问题，并确保算法的可责性（accountability），即在对算法结果不满意时，对算法进行审核。2018年4月，由纽约大学、谷歌、微软等组织的公共政策研究者组成的 AI Now研究院发布了一份报告“ALGORITHMIC IMPACT ASSESSMENTS： A PRACTICAL FRAMEWORK FOR PUBLIC AGENCY ACCOUNTABILITY”。报告为公共機构提供了一种实用性的问责框架，即算法影响评估（algorithmic impact assessment，简称AIA），结合了机构审核和公众参与，帮助那些受影响的社区和利益相关方评估该系统的主张并确定系统在哪些情况可用或者是否可用。其实，不仅受影响群体缺乏必要的信息来评估自动决策系统如何工作，政府部门自身也在努力评估这些系统的使用，探究它们是否产生了差异性影响以及思考如何让算法承担责任。
报告中提出的公共机构算法影响评估的关键要素包括：
1.机构应对现有的和拟用的自动决策系统进行自评，评估其对公平、正义、偏见及其他方面的潜在影响；
2.机构应开发外部研究员审核程序，发现、衡量或长期追踪系统的影响；
3.机构应向公众披露他们对于“自动决策系统”的定义（无论是现行的还是拟用的系统）、使用目的、范围、时间、内部使用策略等，同时还要披露在系统采用之前的任何相关自评和研究员审核过程；
4.机构应征求公众意见，讲清楚公众的担忧并就突出问题进行解答；
5.政府部门应为受影响个人或群体提供正当法律诉讼机制，以应对评估不足、不公平、有偏见等挑战以及其他的机构未能减轻或纠正的有害的系统使用。
如果政府在没有问责框架的情况下部署自动决策系统，他们很可能与制定决策的过程失联，进而很难识别或应对偏见、错误或其他问题。公众对机构如何运作了解较少，他们质疑或诉诸决策的权利也会更小。
迫于这种担忧的紧迫性，AI Now研究院呼吁停止在核心公共机构使用未经审核的“黑箱子”系统。他们认为向自动决策及预警系统的转变不能妨碍机构履行责任，保护公民诸如公平、正义、正当法律程序的基本民主价值，防范诸如非法歧视或权利剥夺等威胁。
算法影响评估虽并不是解决自动决策系统的“万灵丹”，但它确实提供了一种重要的机制来告知公众，并让决策者和研究人员参与到富有成效的对话中来，实现以下四个主要目标：
1. 通过公开列出并描述自动决策系统对个人和社区的影响，既尊重了公众的知情权同时也让他们了解到了哪些系统在影响他们的生活；
2. 增加公共机构内部的专业知识和能力评估他们构建或采购的系统，这样他们就能够预见那些可能引起关注的问题，例如差异性影响或对正当法律程序的违反；
3.通过为外部研究人员提供一个有意义的、持续的机会来审查、审计、评估这些系统，确保了自动决策系统更大的可责性；
4.确保公众有机会回应并在必要时对某一特定系统的使用或机构的算法问责方法提出异议。
编辑|胡文娟 [email protected]
部分内容编译自AI Now研究院报告“ALGORITHMIC IMPACT ASSESSMENTS： A PRACTICAL FRAMEWORK FOR PUBLIC AGENCY ACCOUNTABILITY”