【摘 要】
:
随着社交平台的发展,人们每天面临海量的图像数据并习惯用它们表达自己的情感。如何从海量数据中提取人类关注的显著信息,并快速有效地分析图像表达的情感,成为计算机视觉的新挑战。这两个任务分别属于计算机视觉领域的视觉显著性预测和视觉情感分析,在视觉跟踪和情感图像检索等方面具有广阔的应用前景。然而,目前大多数研究对这两个课题进行独立的分析,忽略了图像情感与视觉显著之间的相互作用。心理研究表明,图像的情感区域
论文部分内容阅读
随着社交平台的发展,人们每天面临海量的图像数据并习惯用它们表达自己的情感。如何从海量数据中提取人类关注的显著信息,并快速有效地分析图像表达的情感,成为计算机视觉的新挑战。这两个任务分别属于计算机视觉领域的视觉显著性预测和视觉情感分析,在视觉跟踪和情感图像检索等方面具有广阔的应用前景。然而,目前大多数研究对这两个课题进行独立的分析,忽略了图像情感与视觉显著之间的相互作用。心理研究表明,图像的情感区域会吸引人们的注意。同时,人们关注的显著区域往往包含强烈的情感信息,这个显著区域甚至足以确定图像表达的情感。虽然部分工作尝试在显著性模型中引入图像上下文信息,或者在情感分类模型中引入显著性区域,但都没有达到理想的效果。为了全面深入地对两者间的关系进行建模分析,本文工作如下:(1)提出了一种同时包含情感图像和人类眼动注视图的合成数据集生成方法,解决了当前情感数据集和显著性数据集相互隔离的问题,并且在显著性数据集上证明了该方法的有效性,为后续的研究提供新思路;(2)显著性方面,提出了以显著性预测为主,情感检测为辅的研究框架,采用跨空间池化策略将情感与显著性特征进行耦合,并设计新的损失函数来提高模型的预测性能。结果表明,该模型在EMOd等显著性数据集上的多项评价指标取得当前最优,证明了本方法的有效性。同时可视化结果证明了引入情感有利于模型捕捉与人类感知更接近的显著区域;(3)情感分析方面,提出了以情感检测为主,显著性预测为辅的框架,将预测的情感区域作为局部特征引入情感分支,并与全局特征进行融合,准确率比当前模型提高了约2%。为减少人工标注的成本,本文还提出一个端到端的无监督框架,利用特征金字塔网络提取图像的多尺度特征,采用注意力机制发现情感相关区域,并设计自适应融合网络整合局部和整体信息。结果表明,该方法在TwitterI的分类精度提升至85%,且在没有任何标注的情况下,显著性预测性能接近弱监督方法,证明了该方法的有效性。
其他文献
作为中华文明的活化石,古籍文档珍稀而易损,数字化技术是古籍文档能够持久流传的重要举措。文本识别算法是古籍文档数字化的基石,它提取古籍文档图像的文本特征,转换为语义连贯的文本序列。但古籍文本存在样本类别长尾分布、类间特征重叠、版面样式多变、开源数据集稀缺等诸多难题,古籍文本识别算法的发展颇受羁绊。目前,现有古籍文本识别算法多基于单字符识别,但这或许割裂了字符间的语义关系,导致识别模型的推理预测能力薄
随着城镇化进程的快速推进,农村人口逐渐向第二、三产业转移,我国正面临着农业兼业化、农村空心化、农民老龄化的严峻挑战。谁来种地、如何种地的问题亟需解决。为解决这一问题,近年来我国不断加大专业大户、农民专业合作社、龙头企业以及家庭农场等新型经营主体的投入力度。其中家庭农场是以家庭承包为基础,更符合我国农业生产和家庭经营的特点,是现阶段最适宜的新型农业经营主体。然而我国家庭农场仍处于起步阶段,目前经营效
电磁吸波体是一种能够有效吸收电磁波的结构或材料,它能将电磁波能量转化为热能耗散掉。在表面覆盖电磁吸波体已经成为武器装备降低雷达散射截面积(RCS)的重要手段。随着电子对抗技术的发展,多功能电磁吸波体正在成为当前电磁领域的研究热门。本文基于电磁吸波体的基本理论,设计了两种频率选择吸波体,并研究了一种基于神经网络的纸基吸波材料电磁参数提取方法。本文的主要研究内容概括如下:1、双阻带双极化频率选择吸波体
自供给侧结构性改革战略实施以来,山西省不遗余力地进行产业转型,大力推进农业产业化,扶持龙头企业发展壮大,时至今日,已取得不少成就。然而,对于这些龙头企业发展状况如何、在地理上呈现怎样的分布特征并反映出山西省农业产业化到底处在一个怎样的发展阶段以及哪些因素影响着龙头企业的分布等问题,尚没有完整的针对性研究对其一一进行回答。为了解决以上问题,本研究以山西省省级农业产业化龙头企业为研究对象,利用核密度估
自古以来,土地不仅是宝贵的自然资源,还是人民财富之母,因此将土地和土地政策置于中国农业、农村和农民问题的解决当中,置于国家战略进程中具有其他政策不可替代的深远影响和作用,其中农地流转政策的实施可有效提高土地分配效率和农业生产效率。因此深入探究欠发达地区的农地流转情况对于农地流转政策实施、巩固脱贫成效具有重要意义。本研究以山西省陵川县为例,基于相关文献阅读,运用问卷调查与访谈法相结合进行实地调研,了
视觉富文档是指语义结构不仅由文字的语义决定,还与文字布局和视觉特征有着重要关联的一类文档。随着深度学习的发展,光学字符识别(Optical Character Recognition,OCR)技术取得了飞速发展。与此同时,除了读取图片上的文字以外,理解文字背后的含义正成为工业界和学术界探索的课题。视觉信息抽取(Visual Information Extraction,VIE)任务正是一种从视觉富
压缩感知是一种强大的信号采样技术,能够在对信号采样的同时完成压缩,极大地减轻了编码端的计算和存储负担。由于计算复杂度主要集中在解码端,重构算法的设计是压缩感知最核心的研究内容。传统图像/视频压缩感知重构算法理论可解释性较好,但重构性能不理想;近来提出的基于深度学习的重构算法通过数据驱动的方式直接学习观测值到重构信号之间的非线性映射,重构质量较高,且重构速度较快,但理论可解释性较差。针对现有图像/视
为应对当前资源短缺、生态环境恶化、空间布局无序等问题,缓解生态保护与经济发展的矛盾,引发了关于国土空间重构的新需求。在深入推进“多规合一”与空间治理能力现代化的背景下,针对国土空间优化中面临的前沿技术应用不足等问题,探索出一套较为完善的优化流程和技术方法,有助于引导构建科学合理的功能空间布局。本文以山西省晋中市为研究区,从国土空间安全与发展相协调角度出发,在把握2009-2019年晋中市国土空间变
针对目前黄淮海平原潮土区土质偏砂,土壤呼吸强度大,秸秆碳利用低,土壤有机质提升缓慢等问题,本研究以中国科学院封丘农业生态试验站长期试验地为研究对象,选取秸秆移除、秸秆覆盖还田、秸秆深还以及秸秆深还配施8、16、24%无机有机氮素,共9个处理,于试验开展第10年(2020年)秋玉米收获后,采集各处理0-10、10-20、20-30、30-40cm的土壤样品,测定土壤碳氮组分指标,分析不同秸秆还田及施