论文部分内容阅读
视觉信息是人类获取外界信息的重要来源,也是最容易被人类接受和理解的一种信息形式。图像作为一种重要的视觉信息表现形式,受到了人们的广泛关注和喜爱。网络中充斥着大量的图像数据,怎样对如此规模庞大的图像数据进行理解和处理,是迫切需要解决的问题。现有研究对于图像的理解依然主要停留在对图像描述内容的研究,属于认知层的理解。然而随着图像数据量的剧增,尤其是随着互联网技术和社交网络的发展,越来越多的用户喜欢以文本、图像等方式在网络中分享自己的经验和感受,对图像内容的理解已不能较好的满足用户,这使得对图像的最高层语义——情感语义的分析变得更具有重要意义。本文的研究主要围绕图像的情感分类这一主题进行展开,在分析现有研究的基础上,结合视觉认知理论的相关研究,通过综合考虑融合多种图像特征,利用机器学习的方法进行图像的情感识别与分类。本文的主要工作包括以下三个部分:一是对颜色直方图描述颜色信息时忽略空间信息的问题进行改进,采用图像分块的方式,根据图像不同区域引起人的视觉关注程度的差异,利用Itti视觉注意模型提取图像的显著图,对各分块进行基于视觉显著度的加权直方图计算,通过实验对比,验证了本文提出的改进算法的有效性。二是根据视觉认知的相关理论提取能够表达图像情感信息的特征,然后通过与底层的颜色、纹理、形状以及高层的人脸表情特征相结合,生成图像的情感描述特征向量,利用SVM分类器,在IAPS图像集上实现图像的8类情感分类任务。同时,为验证本文提出算法的可行性,还在收集到的规模更大的Flickr图像集上进行同样的情感分类实验,证实了本文算法的有效性。三是将本文提出的图像情感分类算法应用于电影推荐中,通过结合电影海报图像及剧情简介信息进行电影情感识别,为用户推荐符合其情感需求的电影。本文工作的创新性在于将视觉注意模型引入颜色特征提取过程中,使得对图像颜色信息的描述更符合人的理解和感受;同时通过融合底层视觉特征、基于视觉认知理论的特征及人脸表情特征等多种特征,实现了对图像的更加完善的情感信息描述,在一定程度上缩小了“语义鸿沟”。