【摘 要】
：
零样本图像分类旨在解决缺失训练样本的未见类图像的分类问题。虽然近年来以监督学习范式在大规模数据集上训练的深度神经网络在图像分类等计算机视觉任务上取得了显著的性能提升,但是这些分类模型局限于训练集中出现过的已见类,无法对缺失训练样本的未见类进行有效地识别。然而,实际应用场景中不可避免地存在因为标注成本过高、样本稀缺、类别随时间变化导致的未见类图像样本的出现。为了解决此类问题,零样本图像分类方法期望借
论文部分内容阅读
零样本图像分类旨在解决缺失训练样本的未见类图像的分类问题。虽然近年来以监督学习范式在大规模数据集上训练的深度神经网络在图像分类等计算机视觉任务上取得了显著的性能提升,但是这些分类模型局限于训练集中出现过的已见类,无法对缺失训练样本的未见类进行有效地识别。然而,实际应用场景中不可避免地存在因为标注成本过高、样本稀缺、类别随时间变化导致的未见类图像样本的出现。为了解决此类问题,零样本图像分类方法期望借助人工属性标注等类别语义描述将模型在已见类上所学的知识迁移至未见类上。根据如何建立图像视觉特征与类别语义描述之间的联系,可以将已有工作分为:实现视觉-语义映射的嵌入式零样本图像分类方法与实现语义-视觉映射的生成式零样本图像分类方法。本文针对这些方法中存在的未考虑图像局部区域间关系以及视觉空间中缺少属性语义信息两大问题展开研究,主要工作包括:（1）针对已有嵌入式零样本图像分类方法在视觉-语义嵌入中未考虑图像局部区域之间的关系这一问题,提出了基于属性注意力与关系推理的混合嵌入模型。该模型中进一步提出了三个分支网络:基于属性注意力的局部嵌入网络、基于图注意力的关系推理网络与基于属性注意力的全局嵌入网络,分别实现局部属性视觉特征提取、属性视觉关系推理以及局部特征组合约束。多个分支进行混合嵌入以提升零样本图像分类的效果。该模型的有效性在三个公共数据集上得到了验证。（2）针对已有生成式零样本图像分类方法中图像视觉空间缺少属性语义信息的问题,提出了基于属性语义压缩嵌入的生成模型。该模型中基于属性注意力提出的属性语义压缩嵌入网络将局部属性视觉特征的语义信息压缩至低维全局特征中,从而构造了密集语义视觉空间。进一步地,该模型基于提出的嵌入引导的生成网络学习类别语义空间至密集语义视觉空间的映射,因此增强了合成的未见类特征的判别性,提升了零样本图像分类的精度。三个公共数据集上的实验结果验证了该模型的有效性。
其他文献
近几年来,随着人工智能技术的不断发展,人工智能现实应用场景中存在的数据孤岛和数据隐私保护问题不断暴露出来。联邦学习作为一种解决数据孤岛和数据隐私保护问题的有效解决方案,受到了广泛关注,并且在多个领域有了成功的应用。然而,联邦学习的现实应用场景中普遍存在的数据异构性问题限制着联邦学习的发展,成为联邦学习落地的阻碍。解决联邦学习数据异构性问题成为联邦学习的关键挑战。现有的联邦学习数据异构性解决方案的关
最近,研究者发现深度神经网络很容易受到对抗样本的影响,后者通过在正常样本上添加一些人眼难以察觉的微小扰动,能使神经网络对其错误分类。研究表明,部分对抗样本具有转移性,这使得攻击者在本地的源模型上制作的对抗样本可以威胁目标模型。因此,研究这类攻击方法对评估和提升深度神经网络的健壮性意义重大。传统转移攻击方法使用固定的源模型组合（称为集成模型）,对正常样本（称为原始样本）迭代修改。由于计算资源有限,攻
随着互联网技术的快速发展与全面普及,网络中的信息以惊人的速度产生和传递,“信息爆炸”的时代已经来临。推荐系统作为信息过滤的重要手段能够有效地缓解信息过载带来的消极影响,推荐系统在不断提高用户体验的同时带来了丰厚的经济效益,其重要性也日益凸显,越来越多的研究工作专注于推荐系统中的安全性问题。推荐系统中的投毒攻击可以通过虚假欺骗数据的注入来实现操纵推荐系统的目的,这种投毒攻击严重危害了推荐系统的正常运
近年来,多媒体业务的蓬勃发展带来了网络中视频流量的井喷式增长,互联网用户开始追求更高质量的视频传输业务。随着小型卫星通信组网技术与发射技术日趋成熟,可全球覆盖的低轨道宽带卫星通信网络（低轨道卫星网络）,为视频组播带来了新的发展契机。通过在低轨道卫星网络中部署软件定义网络（Software Defined Network,SDN）框架,可以克服地面网络分布式管理瓶颈,实现更高效的软件定义组播（Sof
为保障工业系统的可靠性,尽可能避免因设备运行异常导致的危害,如何高效地检测出设备异常运行状态是一个急迫的问题。大多数异常的发生是一个渐变的过程,因此本文通过检测传感器采集的时间序列片段样本用于判别设备是否处于异常运行状态。基于传统信号处理的检测算法需要针对具体设备做特征工程,不利于应用到不同类型的设备,存在泛化性差的问题。而深度迁移学习能够自动地从不同类型设备数据中提取有用特征,无需依赖过多标注数
随着近年来基于位置的服务（Location-based Services,LBS）的发展,人们对位置隐私保护问题的关注度越来越高。位置和轨迹数据通常会包含用户个人的敏感信息,直接发布会对用户隐私造成威胁。差分隐私（Differential Privacy,DP）作为一种具备坚实数学基础的隐私保护方法,在位置和轨迹数据发布中得到了广泛的应用。然而,现有的位置差分隐私发布机制,大多数只考虑静态场景的位
如今视频传输已占据因特网中绝大多数的带宽,传统的视频组播方式会产生大量的带宽浪费。而新兴的大规模多层低地球轨道（Low Earth Orbit,LEO）卫星网络可以通过星间链路进行带宽优化的视频组播,显著减少流量浪费。目前对于卫星网络组播路由的研究集中在IP组播,但其路由性能和可拓展性有限,并不适用于大规模卫星网络。新兴的软件定义组播（Software Defined Multicast,SDM）
证照作为公民的身份凭证,在金融、交通和医疗等领域都应用广泛。由于人工查验效率低下,难以适应日益加快的国际化进程,因此亟需实现证照的自动化查验。然而,证照种类繁多,版面结构复杂多样,证照表面印有复杂的背景图案和防伪特征并且常常出现字符污渍和缺损等情况,给现有算法带来了巨大的挑战。针对以上问题,本文提出了一套适用于证照的结构化识别算法。针对证照中细长文本检测困难问题,本文提出了一种分组多路可选择卷积,
随着基于位置的社交网络平台的发展,产生的大量含有时空信息的签到数据给用户行为特征研究带来了新机遇。作为最具代表性的研究之一,跨社交平台用户身份匹配推动了用户跨域信息融合,促进了更优质的商业服务和个性化推荐质量,因此引起了广泛的研究关注。然而,在处理时空签到数据时,现有工作大都使用离散化方法,忽略了时空本身的连续性,导致严重的边界效应,影响算法性能。为了解决该问题,本文提出了基于关联位置连续签到模式
慢性阻塞性肺疾病,简称慢阻肺疾病,是一种常见的慢性呼吸系统疾病。该疾病会让患者严重丧失劳动能力,这给患者的家庭以及社会带来沉重的经济负担。中医治疗慢阻肺疾病具有毒副作用小且标本兼治的优点,能够极大缓解慢阻肺患者的症状。目前我国的慢阻肺疾病患者基数大,有经验的中医数量不足,导致中医慢阻肺医疗资源面临着巨大的压力,因此研究慢阻肺中医智能诊疗尤为迫切。针对慢阻肺中医智能诊疗中的证型和症状多样化,且证型相