随着人工智能(AI)技术的发展,人们将人工智能技术应用到金融、医疗、教育、安防等行业,其中也包括了游戏产业。通过正确率、召回率等传统评价指标判断人工智能算法的好坏具有一定的局限性,如多人在线战术竞技(MOBA)游戏中,AI研发人员无法直观了解到游戏AI的能力。针对这一问题,设计一款游戏AI效果反馈系统,用工程化的方法,帮助AI研发人员评估AI能力,发现存在的问题,确定模型改进方向,最终实现游戏AI能力的持续提高,同时也可以作为游戏策划对游戏AI进行商业化的数据依据。本文提出一种基于标注与可视化的游戏AI效果反馈系统,使用数据标注的方法对AI在特定场景下行为合理性进行评定,使用数据分析与可视化的方法多角度全方面地展示AI能力。该系统包括对战管理、转录像与转日志、标注管理、数据分析与可视化、用户与权限管理五个功能模块。对战管理模块将AI应用到游戏中去进行对战,得到对战数据,模块包括创建对战、执行对战、监控与告警等功能;转录像与转日志模块将游戏对局转化为可播放的视频文件,并得到结构化的对战数据用于后续分析,模块包括创建转录像任务、转录像任务调度等功能;标注管理模块可以对游戏内的AI行为进行标注,包括创建标注任务、数据标注、标注结果下载等功能;数据分析与可视化模块将游戏数据解析入库并做可视化展示;用户与权限管理模块帮助管理员进行管理系统用户并做权限控制。本文对游戏AI效果反馈系统的需求分析、总体设计、详细设计与实现进行详细的介绍,使用UML统一建模语言进行阐述。系统Web框架使用简洁高效的PHP CI框架,前端使用Boot Strap、JQuery等技术提高提高用户体验,降低开发成本,系统脚本部分主要使用Python、Shell语言实现。最后,对系统进行了功能测试与性能测试,确定了系统功能的完整性、正确性,且性能达到要求,满足使用者需求,达到了稳定上线运行的要求。