基于生成模型的零样本图像分类方法研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:cl8848kill
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,计算机算力不断提高,深度学习得到了迅速发展,人工智能技术使计算机视觉、语音等领域不断进步。一些学者开始注意到,在缺少训练数据的场景下,模型仍能取得较好的学习效果,才更符合真实情况。然而,多数任务需要借助大量的监督样本进行训练。此外,常见的数据集中类别个数有限,而实际场景下会存在大量新类别。收集新类别的样本并重新对模型训练,不仅需要大量的人力和时间,还会对现有模型的性能产生影响。传统的机器学习方法在缺少训练数据的情况下,直接对新类别的样本进行识别,会导致预测结果存在较大的偏差。为了对缺乏训练样本的新类别进行识别,零样本学习成为一种解决思路。作为机器学习的一个新挑战,零样本学习通过可见类的图像和语义信息进行训练,使同一类别的视觉和语义信息建立一种潜在的转换关系,并在预测时将这种关系迁移到不可见类,便可以实现对不可见类图像的预测。而生成模型可以通过上述关系,在深度空间中完成语义到视觉的转换。通过在转换过程中添加噪声,生成各类别的视觉样本,便能够将缺乏视觉样本的零样本学习转化为监督分类问题。虽然基于生成模型的方法在零样本学习中得到了广泛应用,但是这类方法仍存在着训练困难、生成样本的分布与真实分布不一致等问题。本文对零样本学习及生成模型中存在的一系列问题进行深入研究,并开展了如下工作:(1)本文提出了基于分布编码与特征对齐的零样本学习方法。在传统的生成对抗网络中,生成器通过输入高斯分布中随机采样的噪声进行特征合成,使合成样本的视觉区分性较差。本方法通过编码器将视觉样本编码到潜在空间中,生成器从编码后的潜在分布中采样,使生成的样本包含更多与视觉分布相关的信息。此外,多个生成模型生成的视觉特征在数值范围上存在差异,产生与真实样本分布不一致的现象,这会给分类器的训练和识别带来困难。本文通过特征对齐模块,使多个模型合成的视觉特征以及真实特征之间的分布更加接近,促进了零样本识别过程。(2)本文提出了基于原型域对齐与多模态重建的零样本学习方法。基于生成模型的方法存在着生成样本的分布偏离真实分布的现象,产生了样本域分布不一致的问题。本文提出通过MMD距离使生成样本接近于对应类别的视觉原型,保证生成样本的分布与对应类别的原型分布更加接近。此外,常见的生成模型方法将随机向量和语义向量拼接后传入生成器。生成器学习到的随机向量信息可能会多于属性信息,从而会导致生成样本类别信息不完全的问题。本文通过语义解码器,将生成的样本解码到语义空间中,并与真实的语义属性进行重建;此外,合成样本在视觉空间中也进行了重建约束度量。因此,本方法通过多模态重建的方式,使生成的样本具有更丰富的类别信息,降低了分类器的训练难度。
其他文献
传统的推荐方法大多局限于单个领域的推荐。单领域推荐面临着推荐系统中固有的的稀疏性问题,因为在数据十分稀疏的情况下,模型很难获得很好的推荐性能。因此,提出了跨领域的思路。然而,现有的大多数跨域推荐模型只使用了两个域的评分信息,不适用于这些域之间没有重叠用户或项目的场景。另外,如果将辅助域中与目标域无关的信息迁移到目标域中,则可能会引起负迁移问题。基于此,本文提出了两种基于跨领域推荐的方法。一种是基于
学位
近几年来,深度卷积神经网络被广泛地应用于解决各种计算机视觉问题,并且在图像分类、目标检测和语义分割等多个任务中展现了非常好的性能,遥感图像路网提取也依托于深度学习这项技术并取得了新的突破。常规的图像大多以地面为参照系,图像中物体的方向是确定的,而遥感图像是从遥远的空中获取的,图像中的物体具有各个朝向,并且由于长距离的拍摄,图像中的目标通常会很小。遥感图像中的道路蜿蜒曲折,交错纵横,具有道路尺度不均
学位
糖尿病性视网膜病变(Diabetic Retinopathy,DR)是一种与长期糖尿病相关的眼部疾病,有着发病率高、危害性大、初期症状不明显的特点。如果在患病早期能够做出及时的诊断,可以有效地减缓患者视力损害的进展以避免失明。然而,检测DR需要训练有素的临床医生耗费大量时间仔细检查和评估患者视网膜的数字彩色眼底照片,这无疑增大了病情诊断的难度。近年来,由于深度学习在图像分类和目标检测等领域取得的巨
学位
深度学习技术在智能物流配送系统中已经得到了广泛的使用,例如通过目标检测实现对货物的识别和分类,通过人脸识别完成对收货人的确认,和通过自然语言处理实现与收货人的实时交互等。这些智能应用在计算能力和电池容量有限的终端设备上执行,会导致响应时延和能耗较高,无法满足用户的实时性要求。现有的基于云计算环境架构的智能系统也面临着带宽不足、网络波动等问题,服务响应时延过高。此类问题严重影响到智能物流配送系统的稳
学位
基于STEM教育理念,文章以电与磁的教学为例,从五个维度阐述STEM理念下的教学模式,基于真实情境,给学生更多学科融合的学习机会,发展学生的问题解决能力、实践能力和创造思维,并为该课堂模式提供开发思路和教学思考。
期刊
车辆关键点检测是表达车辆关键部件位置的一种方法,可以用于提升交通系统视觉任务性能,包括车辆检测、车辆分类和车辆重识别等。因此,车辆关键点检测是计算机视觉领域的一个重要研究课题,但是由于车辆的自身刚性结构以及道路交通的复杂性,导致车辆存在大量遮挡关键点,使得准确检测车辆关键点变得非常困难。本文针对车辆关键点检测中的遮挡问题展开研究,提出遮挡感知沙漏网络,极大提升了关键点检测性能,并将关键点检测应用到
学位
“立德树人”教育理念的提出,让德育的地位得到提升。然而,单纯依靠学校开展德育工作,难以满足学生的成长需求。对此,教师应当意识到家庭是学生成长的港湾,家长是孩子的第一任老师,也应当主动地与家长进行沟通,与家长一起在学生的心中埋下品格的种子,促进学生快乐、健康、幸福成长。在新的时代背景下,对家校共育策略进行积极的探索,旨在实现学生全面发展。
期刊
现阶段,我国经济社会发展正处于多重变局中,外部冲击不断,内部环境复杂,国内外金融市场进入风险与矛盾的多发期,面临“需求收缩、供给冲击、预期转弱”的三重压力。如何以“稳增长与防风险”为目标,促进金融市场的平稳健康运行,是我国宏观经济治理的重要命题。在此背景下,抓住新一轮变局下的潜在机遇,充分发挥货币政策对于宏观经济的调控作用,对于夯实金融市场稳定发展基础、促进我国经济平稳运行具有重要意义。本文基于“
学位
随着互联网的快速发展,通信设备大都配备了GPS等定位传感技术。通过GPS,移动用户可以感知自己的位置,来获得基于位置的服务(Location Based Services,LBS),比如取快递、寻找附近的餐馆等。近年来,LBS已经被大量用户所接受,在人们的生活中发挥着不可或缺的作用。然而,随着LBS的广泛应用,用户的位置可能被不可信的服务方收集,从而威胁用户隐私安全,敌手可以根据用户的背景知识攻击
学位
随着信息时代的发展,日常生活中生成了大量数据,如何从中发现有用的信息成为当前研究的热点,于是频繁高效用项集挖掘作为数据挖掘领域的代表性问题之一受到广泛关注。在众多解决此类问题的算法中,多目标优化算法不仅具有良好的性能,还能够避免传统项集挖掘算法中阈值难以确定的问题,因而吸引了研究者的注意。但随着数据集规模维度的增大,频繁高效用项集挖掘多目标优化算法在搜索效率、运行时间以及内存消耗等方面存在巨大的挑
学位