随着科学技术的高速发展,人工智能已经广泛应用到医疗、交通、金融等诸多领域,智能看护机器人、自动驾驶汽车等形式多样的智能体在人类生活中也扮演着越来越重要的角色。然而人类在享受人工智能带来的便利之时,也需要解决其带来的伦理问题。例如,机器人误将工人识别为钢板切割、智能音箱建议其使用者自杀、无人驾驶汽车失控致人死亡等。因此,如何确保智能体具备遵守人类基本伦理规范的能力,并与人类进行恰当而友好的互动,是当前人工智能领域亟需解决的问题。强化学习是一种基于试错的学习方法,能够协助智能体在与环境交互过程中、依据特定学习策略解决目标问题,同时获得最大回报。因此,本文提出了一种新颖的强化学习方法,并以此为基础完成了对伦理智能体的训练。具体地,本文主要围绕以下研究内容展开:（1）构建了能够体现人类共同价值观的行为数据集,用以训练智能体获得人类价值观,使之遵守人类伦理道德规范。利用众包技术收集了借助自然语言表述的人类行为数据,解决了数据集构建时普遍存在的费用高昂、耗时、存在偏见等缺点;进一步通过文本聚类、关联分析等技术生成情节图及轨迹树,用以定义智能体训练时的基本行为空间,约束行为的发生顺序。（2）提出了元伦理行为这一概念,并基于《中学生日常行为规范》提取了9种元伦理行为,以实现对不同场景中相似行为的概括,同时扩充智能体的行为空间。进一步设计了一种综合考虑道德、规范以及法律因素的人类行为伦理分级机制,并利用众包技术对以上元伦理行为进行了分级,以完善强化学习中的奖惩机制,使智能体能够灵活、高效应对可能遇到的人类行为,具备更强的伦理判断能力。（3）通过模拟现实生活中常见的买药场景,测试了以上方法的有效性及合理性。首先借助于Amazon Mechanical Turk众包平台收集该场景的人类行为示例;其次,借助于情节图、轨迹树构建了智能体训练的基本行为空间;最后,通过将买药场景中的基本行为、元伦理行为映射到强化学习环境中,完成了伦理智能体的训练。实验结果表明,相对于未采用以上方法进行训练的智能体,基于以上训练方法得到的伦理智能体具有更显著的执行伦理行为的能力,说明该方法是合理有效的。