多表情的人脸识别技术作为情感交互系统的核心技术之一，研究的目的在于让人工智能产品识别并理解人的表情甚至心情。许多应用都要求人脸表情识别有足够的准确度和识别速度，例如智能人机交互、智能机器人、安全驾驶、临床医学、心理学研究、智能监控及虚拟现实等。因此，通过提取人脸表情特征、降低特征维数和设计合理的表情分类器，来研究鲁棒、准确、快速的人脸表情识别方法具有重大意义。本文主要研究了人脸表情特征提取与表情分类这两个关键技术，分别提出了自己的改进算法，并通过仿真验证了改进方法的优势。在此基础上设计了PC机上的情感交互系统和在Linux-Arm环境下的人脸表情识别系统。在人脸表情图像的特征提取方面，本文提出了两种改进的方法——基于特征块的二元主成分分析算法和基于Gabor小波的局部二值模式算法。基于特征块的二元主成分分析算法是在二元主成分算法的基础上，利用基于纹理分布和变形模板的方法进行面部特征定位和分割，再对分割后的特征块归一化，最后用二元主成分提取特征。该算法既保持了二元主成分算法复杂度低的优点，又最大限度地保留了有用的表情特征，克服了二元主成分算法在人脸表情识别中存在的缺陷。基于Gabor小波的局部二值模式算法结合了Gabor小波和局部二值模式算法提取更多尺度和方向的人脸局部特征，利用局部二值模式算法降低Gabor幅值表征的特征值维数，使得表示人脸表情细节的纹理信息更加紧致，冗余度更低。该方法克服了Gabor滤波后特征维数过高和局部二值模式算法表征表情局部特征能力弱的缺点。在人脸表情图像的分类方面，本文提出了两种改进的分类方法——串级量子神经网络分类器和改进的支持向量机分类器。针对人脸表情中惊奇与高兴，害怕与厌恶这些比较容易混淆的问题，设计了四级量子神经网络分类器，该分类器中第一级和第四级采用的7类表情量子神经网络分类器，中间两级为“惊奇-高兴”表情对量子神经网络分类器和“害怕-厌恶”表情对量子神经网络分类器，并通过自适应算法得到的拒绝识别阈值，最大限度的拒绝识别任何可能会产生错误判决的样本，提高串级系统的可靠性。改进的支持向量机分类器用改进的粒子群算法优化支持向量机的关键参数，使得其能够在全局上取得最优值，并且根据人脸表情分类的特殊性，利用由粗到精的策略构造多层级联支持向量机分类器。在应用方面，设计了两种系统——基于VC++平台的情感交互系统和基于嵌入式平台的人脸表情识别系统。情感交互系统包括情感识别，情感计算，情感合成与输出三个方面。情感计算为表情特征提取和分类算法的应用；情感计算部分建立了隐马尔可夫情感模型，并且用改进的粒子群算法估计模型中的参数；在情感合成与输出阶段，首先采用NURBS曲面和面片相结合的算法，建立人脸三维网络模型，然后采用关键帧技术，实现了符合人类行为规律的连续的表情动画。嵌入式人脸表情识别系统通过移植Linux环境下的Qt工具包、OpenCV图像处理库和可执行程序到Tiny6410上实现。