论文部分内容阅读
随着社交时代的到来,越来越多的人们选择通过网站或者应用程序(例如Flickr)分享自己的图片,并且通过文本评论的方式与其他人进行互动。精准识别大量此类图片传达的情感在很多方面被证明有十分重要的研究价值和应用价值,比如图片检索和社交媒体分析。因此,图片情感分析在近几年得到越来越广泛的关注和研究,而跨域的图片情感分类更是一个充满挑战的研究课题。例如,不同领域间的图片内容本身存在较大的差异性,而且不同领域间用来表达图片情感倾向的特征更是千差万别。本文针对跨域的图片情感分类这个热门且新颖的课题进行讨论和研究,并提出该问题的有效解决方案。当前已经有一些研究方法可以用来解决图片情感分类问题,其中绝大多数都是通过在大量有标记的训练集上提取图片的视觉特征进行有监督学习,训练经典的机器学习分类模型,比如支持向量机(SVM)、朴素贝叶斯(NB)等。然而,在解决跨域的图片情感分类问题上,这些方法却稍显不足。这些方法在解决该问题时面临的主要挑战包括:(1)大量的有标记数据是有监督学习方法赖以存在的基础,虽然现在我们可以很容易的得到上百万甚至上亿的图片数据,但是对这些原始数据进行正确的情感标注却是耗时耗力的工程;(2)在真实的应用程序中通常存在大量的图片域(比如Flickr有1,187个域[1]),而不同领域间的图片即使有相似的视觉特征,其所表达的情感倾向也有可能是相反的,如图1.2所示,"face"领域的负向图片和"car"领域的正向图片具有相似的色彩柱状图;(3)在每个领域上训练特定的图片情感分类模型必然要求每个领域上都有大量有标记的训练数据,又回到挑战(1),而在整体数据集上训练通用的分类模型则会造成其在每个领域上的表现效果可能都不尽如人意。因此,在已知含标记数据的域即源域和不含标记数据的域即目标域的前提下,如何训练出针对目标域图片数据的情感分类模型,即解决跨域的图片情感分类问题是一个迫在眉睫的研究课题。本文对真实的社交数据集(比如Flickr)进行一系列统计和分析,针对当前研究成果存在的不足,提出带权重的协同训练方法(CoDS)来解决跨域的图片情感分类问题。该方法的提出主要基于以下几点事实:(1)伴随着图片出现的通常有一些文本数据,比如来自其他人的评论,并且这些评论数据通常包含评论人的情感信息,而评论文本的情感倾向通常和图片的情感倾向一致;(2)虽然不同领域间的图片特征有很大差异,但是源域和目标域图片和文本间仍存在一些共性特征有待挖掘。因此,在训练分类模型时,本文提出带权重的协同训练方法。该方法不仅考虑图片数据,也将图片相对应的文本数据考虑在内,分别计算源域和目标域之间图片和文本相似度作为图片和文本情感分类模型的权重,并不断迭代扩充训练集以达到提升训练模型效果的目的。本文在真实的Flickr数据集上对提出的带权重的协同训练方法做了大量详尽的实验,并将该方法和之前的在图片的情感分析课题上的历史研究成果进行对照。实验结果表明本文提出的方法在跨域的图片情感分类问题上的表现效果优于其他几个已存在方法,给该课题的进一步研究提供重要的参考价值。