智能语音客服是如今机器学习和人工智能算法研究的重点,对于企业来说是节省人力回答高频重复性问题的必须,对于个人来说也希望有拟人化的智能客服快速地解决实际问题,而如今的客服系统还存在语义理解不足、多轮对话能力欠缺,语音对话不够拟人个性化等问题。本文设计了基于Rasa、React、Tacotron2、MelGAN等框架模型的个性化智能语音客服系统,解决了单轮对话回复不精准,多轮对话重要信息丢失,语音回复个性化能力弱等关键问题,完成点餐这个垂直领域的多轮对话基本服务逻辑,而且能使用特色人声完成个性化的语音服务,本文主要包含五个大模块,分别为前端交互模块、后端中转请求处理模块、Rasa NLU语义理解模块、对话管理模块和语音合成模块。1.前端交互模块使用React框架中最新的前端函数式组件技术React Hooks,在耦合度和扩展性上都能达到很好的效果,在用户呈现上达到流畅、简洁和易使用的要求,同时也使用Ts编程语言规范编写格式,实现了智能客服机器人的交互界面,完成了文本输入、语音输入和转换文字、文本输出显示、语音输出显示、音色输出选择等主要功能。2.后端中转请求模块采用了轻量级的Python异步协程包Aiohttp构建,负责接收前端的文本输入数据,并将数据信息与Rasa的NLU部分以及对话管理部分进行交互得到文本的回复输出,再与语音合成模块进行交互将文本的输出回复转换为语音波形的输出,最后将信息返回给前端模块。整体作为核心中转模块连接其他各个模块,在设计上足够轻巧和易于扩展。3.Rasa NLU模块负责单个句子的实体提取和意图识别,是语义理解的关键模块,采用了 Pipeline的构建方式将功能分层,包含了分词器、中文词向量转换、实体提取器、意图识别器等多个部分,利用机器学习方法训练了高准确度的实体提取器模型和意图识别模型,并配合同义词提取和正则化提取来优化实体提取,利用Spacy中文词向量模型优化了中文分词和中文的向量化。同时采用了时间前回溯策略增加了本轮对话的信息量,包含了前几轮对话的信息后大大提高了实体提取和意图识别的准确度,采用数据增强策略解决了训练语料不足的问题,采用动作选择策略实现了低置信度下的问题回滚,使问答更加流畅。4.对话管理模块是实现多轮对话的核心模块,本文搭建了 Action服务器用于对话的逻辑处理,与Rasa NLU模块紧密配合使用插槽管理对话上下文的关键信息,使用知识图谱管理基本的实体信息,并对中文数字提取为阿拉伯数字进行了专门优化,针对未知关键信息具备一定程度的推导能力,配合回复模板能生成拟人化的准确回复。5.语音合成模块包含语音合成模型Tacotron2、声码器模型MelGAN、格林算法和声码器模型WaveFlow,结合语音克隆技术对语音合成模型编码器部分进行了改造,解决了大量单人语音语料搜集的困难,以多人语音训练的语音模型为基础,只用较少单人语音数据通过迁移训练就得到了特殊音色的语音模型。本文自训练了声码器模型部分通过比较分析选择最优方案,最终方案同时满足了生成语音质量好和生成耗时低的要求。本人独立完成了该系统所有模块的设计和实现,数据集上使用了部分开源数据集,搜集了周星驰语音数据和自录音了本人音频数据作为语音数据,点餐文本对话数据也由本人直接模拟生成。系统整体达到了目标要求,并最终通过功能测试和性能测试验证了系统的核心功能以及交互的实时性和系统稳定性。