论文部分内容阅读
随着互联网和移动智能设备的大量普及,在线视频业务流量也在逐年增长,成为互联网经济中重要的组成部分。其中,视频广告业务、视频推荐等应用大部分围绕用户兴趣展开。本研究依据视频中的主角明星效应,通过对视频中的明星人脸进行检测、验证和聚类等相关技术研究,以助力于围绕明星人物身份展开的,诸如基于内容的推荐与检索、电影演员表的自动确定和视频快速浏览与组织等应用技术。 相比静态图像,视频图像中的人脸特征更加复杂,通常包括角度变动、光线、表情、遮挡、低分辨率等诸多问题,这也为视频人脸聚类带来了巨大的挑战。本研究着眼于流行剧集和电影所带来的明星效应,依托项目组内的基于明星识别的视频广告推荐系统,对视频中明星人脸的验证和聚类等相关问题的理论研究进行了广泛调研,实现了系统中人脸验证和聚类等关键模块,并取得了良好效果。 具体地,论文主要工作包括视频人脸数据集的标定、验证及聚类算法研究。首先,从互联网上收集了 103 集美剧《生活大爆炸》的视频数据。以固定时间间隔抽取原始视频帧,建立原始图像集。之后利用人脸检测技术获得明星人脸,利用人脸关键点探测技术获取 5 个关键点位置信息,包括左右眼位置、鼻头位置、和两个嘴角位置,通过人工设定标准人脸作为人脸对齐的矫正基准,将探测到的人脸和标准人脸进行对齐。所有检测到的人脸将被对齐到预先设定好的标准人脸,并归一化到统一尺度(256?256)。同时,系统对给定演员列表中的明星人脸进行相同的预处理操作,从而构建出人脸验证步骤中的标准人脸比对集。在构建视频人脸数据集的过程中,提出了一种新的明星人脸验证机制,实现对检测到的人脸的自动清洗。通过设计有效的验证策略,过滤大量非主演明星的人脸图像,从而得到视频人脸数据集。对于视频人脸数据集,抽取了人脸图像的深度卷积神经网络VIPLFaceNet模型表示特征。在聚类算法方面,提出了一种结合特征空间距离和视频帧时间距离的度量方法,并将这种新的距离度量方法运用到三种视频人脸聚类算法中,包括 K 均值聚类,谱聚类和基于密度的聚类算法。通过大量实验,验证了所提出的距离度量方法的可行性和有效性。