人脸美丽预测作为人工智能的重要研究课题,既有潜在的应用价值,又具有很大挑战性。其在娱乐、美容、虚拟媒体等商业领域具有较大需求,但又面临着诸多难题,如人脸美丽数据库规模小、分类难度大、深度特征研究不足等。为此,本文构建了包含2万张5分类的大规模人脸美丽数据库(Large Scale Asian Female Beauty Database,LSAFBD),为人脸美丽预测相关算法的评估与改进提供更优的验证平台。以LSAFBD为基准测试数据库,本文的研究工作主要包括以下内容:(1)传统人脸美丽预测的探讨。传统人脸美丽预测方法是早期研究所采用的方法,目前,已经获得较多的科研成果。本文以局部二元模式(Local Binary Pattern,LBP)和局部相位量化(Local Phase Quantization,LPQ)纹理特征提取方法为研究起点,采用支持向量机(Support Vector Machines,SVM)方法实现分类。随后,引入Raw Pixel特征和浅层特征K-means提取作为对比。实验结果表明,浅层特征取得更佳的预测结果。通过结果分析还得出图像的细节信息对人脸美丽预测起到重要作用。因此,对传统人脸美丽预测方法的回顾与实验重现将为后续算法的改进提供方向指引。(2)基于卷积神经网络(Convolutional Neural Network,CNN)的人脸美丽预测研究。CNN在图像识别领域具有较大优势,其End-to-end的学习能力在图像特征提取方面发挥重要作用,所以,CNN相关的方法得到广泛的研究。本文从CNN的原理研究出发,初步设计出适用于人脸美丽预测的深层CNN网络Proposed Net。实验结果表明,Proposed Net在多种CNN模型中取得了较好的预测结果,在回归预测中仅低于Net B,在分类预测中取得最优的结果。通过CNN与传统方法的人脸美丽预测结果对比得出,CNN方法在各种数据集及回归或分类预测中均具有优势。(3)CNN模型的改进方法。首先,提出双激活层优化Proposed Net的结构;其次,提出一种Cost-sensitive的损失函数Softmax-MSE,抑制CNN模型在小数据库中训练过拟合的问题;最后,提出深度特征融合的训练方法,利用CNN的迁移学习能力,采用大规模人脸库来解决训练数据不足的问题,通过深度特征融合进一步提高预测的准确性,增强模型的自学习能力。实验结果表明,本文所提的方法给Proposed Net带来较大提升,分类准确率为64.8%,高于Net B的61.7%;回归相关度为0.882,高于Net B的0.858。实验结果分析还得出,图像的彩色特征在人脸美丽预测中表现出更好性能。(4)实时人脸美丽预测系统的设计。利用Caffe、Opencv、Dlib等开源库,结合本文所提方法训练的预测模型设计出一款多功能的实时人脸美丽预测系统。该系统既可预测人脸美丽值,也可用于性别分类。系统采用多重预处理方法来过滤不合格的人脸,并引入性别分类器和单性别人脸美丽预测模型来提高系统预测准确性。实验结果表明,该系统取得较理想的实时性,并在性别分类和人脸美丽预测方面均表现出较强的鲁棒性。通过本次系统的设计及实验结果的分析,为更高级的人脸美丽预测系统的推广及应用提供更完善的理论支撑。