论文部分内容阅读
智能机器和情感的结合是一个重要的课题。情感交互的实现应该是任何智能机器想要和人类沟通的中心方面。为了与人自然的交流,机器人必须既能读懂用户的情感,又能表达自身的情感。这就需要机器人通过视觉感知用户的脸、身体姿态,通过听觉感知用户的话语、声音的韵律、分析话语的情感。人类在赋予机器人情感感知能力的同时还必须赋予机器人能够表达情感的面部表情,可以转动的眼睛,有韵律的声音和做出各种姿势的身体。
本研究的目的是设计一台机器人,使它可以与人互动,并在日常生活中和常见的地方协助人类。为了完成这些任务,机器人必须友好地显示出一些情感,表现出友好的特点和个性。依据仿生学,研制了一台仿人头部机器人,建立了机器人的行为决策模型。该机器人具有人类的6种基本面部表情,以及人脸检测、语音情感识别与合成、情感行为决策等能力,能够通过机器视觉、语音交互、情感表达等方式与人进行有效的情感交互。
本文的创新点如下:
1)设计了一个具有面部表情的情感机器人,旨在通过表情、计算机视觉、语音交互等方式与人类进行自然交流。情感机器人通过红外传感器、麦克、USB摄像头检测外部环境的信息。PC对收集到的外部环境信息首先进行情感特征提取,分析出语音情感和检测到的人脸的面部表情。语音输出模块,机械头的身体语言和机械头的面部表情构成了情感机器人的情感表达方式。PC通过串口通讯向单片机发送要调用的面部表情数据包和身体语言数据包。PC在经过语音识别和语音合成后通过音响设备输出具有情感的语音。机器人的机械设计是参照成年男性头部,以1:1的比例进行设计,有14个自由度。
2)设计并实现了一种具有语音情感分析和情感语音表达的机器人语音交互系统。在设计时针对目前人与机器人的交流仅限于一些固定词句和简单行为方式的缺陷,分析现有语音识别软件的优点和不足,采用了中科院PattekASR V3.4和微软Microsoft Speech SDK相结合的语音识别方法,保证了语音识别的准确率,同时提供了机器人进行一定场景范围内自然语言识别的能力。利用语义分析算法,分析人对机器人语音输入的情感,并通过情绪转换模型根据上一次对话情感和当前输入情感确定机器人输出情感,通过改变机器人语音合成的音调、语速、音量来实现不同情感的表达。最后,将带情感控制符号的语音合成内容编码,通过串口发送给语音合成芯片实现带有情感的语音合成。在整个过程中,机器人将分析用户的命令,如果需要进行适当的动作响应,则通过网络通信向ARM控制板发送动作指令控制机器人做适当的动作。
3)建立了能够改变机器人个性特点的情感行为决策模型。在人机交互中,个性是机器人最重要的特点之一,它决定了机器人能否以友好的方式与人类互动,而不让人类感到不舒服。我们通过实施情感行为决策模型来提供机器人自己的个性和特点。利用这个模型,机器人能做出不同行为的决定。如果机器人的个性改变,情感行为决策模型就会使机器人在相同的条件下做出不同的行为决策。情感行为决策模型由5个要素组成:反应动态,内部动态,情感动态,行为动态和个性。机器人的情感模型是线性动态系统,它的5个要素由矩阵来表示。