论文部分内容阅读
随着5G商用的加速落地,微博、抖音等应用迅猛发展,网络上产生了大量的由用户生成的带有文本内容的短视频。通过分析这些文本内容和短视频,可以了解广大用户对社会事件、人物、产品的看法以及舆论演化趋势,因此,多模态的情感分析已成为当前一个非常热门的研究课题。然而,从网络直接获取的数据过于冗余和繁杂,不能直接应用在实际研究中,在实际研究当中可用的数据集还是比较缺乏的,并且文本和视频内容是独立存在,在进行情感分析的研究时不能对视频和本文有效地融合。针对上述问题,本文提出了如下工作:(1)针对短视频情感分析数据样本数量缺乏的问题,提出一种基于小样本学习的短视频情感分析方法。首先将数据集分为支撑集和查询集;然后分别对数据集进行视觉特征提取;再将支撑集样本提取的特征和查询集样本提取的特征进行拼接后通过度量模块计算查询集样本和支撑集样本之间的相似性;最后利用分类器预测查询集样本的类别。(2)针对数据集中存在多种模态的问题,提出一种文本、短视频的情感分析方法。在文本模态上,首先使用分词工具对文本模态数据进行预处理,然后使用词嵌入工具获得文字对应的词向量,将得到的词向量利用注意力机制的LSTM网络提取文本信息的情感特征,最后通过分类器计算文本信息在积极、中性和消极三种类别上的情感概率;在短视频模态上,采用3D残差稠密网络的视频特征提取方法,建立视频情感分类模型,采用分类器判断短视频信息的情感概率。(3)针对文本、短视频双模态的数据无法有效融合的问题,提出一种基于决策级加权融合的情感分类方法。该方法在得到双模态情感分类的识别率后,对各模态设计不同的权重,然后引入加权矩阵,最后将文本和视频两种模态的情感分类结果进行融合,建立基于双模态的决策级加权融合的情感识别模型。