随着深度学习技术的蓬勃发展,对话系统的研究和应用迅速增长,如Siri、Cortana、谷歌助手等。相应地,这些产品也成为长辈和孩子的情感伴侣、在线客服、移动终端中的虚拟助手和网上购物和消费的智能指南。与前面提到的虚拟助手不同,智能导购的应用刚刚受到产业界和学术界的关注,亚马逊、Ebay、淘宝、京东、Yelp等智能导购通常扮演店员或顾问的角色,为移动终端用户推荐商品、店铺、餐厅、服务等,让他们的日常生活更加便利。所以这些产品通常需要引入推荐系统来完成推荐这个行为,于是逐渐延伸出了面向推荐的对话这个任务。与面向任务的对话不同,首先,用户的目标通常是不明确的,期望通过面向推荐的对话来确定。其次,在面向推荐的对话中,推荐对象可以是最终结果,也可以是澄清或确认用户意图的中间动作,从而允许在对话会话中进行多次推荐。最重要的是,与假设用户完全了解任务的槽位和值的面向任务的对话系统不同,面向推荐的对话系统中的用户通常不熟悉推荐对象的槽位和值。因此,面向推荐的对话系统输出的语言与用户的理解之间可能存在信息差距,这使得用户的意图具有不确定性。为了研究如何更好地与用户交互,弥补对话系统和用户之间的信息差距,我们将研究以下三个目标:基于简单强化学习的对话式推荐、基于简单强化学习的引导式对话以及基于分层强化学习的引导式对话。基于简单强化学习的对话式推荐会基于商品的属性空间去进行提问,将提问得到的结果作为当前的状态进行动作的选择,策略系统会决定进行询问问题或者进行推荐。需要注意的是,一旦系统选择了推荐动作,无论用户做出何种反馈,会话都会结束。基于简单强化学习的引导式对话通过策略系统将推荐系统和对话系统融合到一起,在对话决策中加入推荐动作。当用户由于对槽位术语不理解或不明确自己的偏好时,系统可以基于目前对话得到的信息,选择向用户进行推荐来引导用户明确自己的偏好,提高对话的成功率,并且能够降低完成对话的轮次。基于分层强化学习和引导式对话利用分层强化学习主要用于解决状态或者动作空间过于庞大导致的维度灾难问题,实验中也取得了不错的效果。