【摘 要】
:
电子商务的蓬勃发展,带动了服装行业的快速发展,这也造成了互联网中服装商品数据(衣服图像、文本描述等)的爆炸式增长。为了有效解决互联网中服装数据过载的问题,帮助用户快速、准确地搜索理想的服装商品,基于图像的服装检索方法应运而生并被广泛应用在搜索引擎、在线购物等系统中。该方法允许用户简单地上传一张描述其需求的服装图像来检索满意的服装商品。然而在现实场景中,用户很难获取一张完全满足其需求的查询图像。用户
论文部分内容阅读
电子商务的蓬勃发展,带动了服装行业的快速发展,这也造成了互联网中服装商品数据(衣服图像、文本描述等)的爆炸式增长。为了有效解决互联网中服装数据过载的问题,帮助用户快速、准确地搜索理想的服装商品,基于图像的服装检索方法应运而生并被广泛应用在搜索引擎、在线购物等系统中。该方法允许用户简单地上传一张描述其需求的服装图像来检索满意的服装商品。然而在现实场景中,用户很难获取一张完全满足其需求的查询图像。用户更有可能获得接近理想的查询图像,可以通过将查询图像中某些不喜欢的服装属性替换成理想的属性(例如衣服领口从v领改为圆领)来完美匹配用户的搜索需求,从而实现准确的服装检索。为此,在本工作中,我们专注于研究基于属性修改的服装检索问题。尽管目前已有一些先驱工作致力于解决该任务并取得了优异的成果,但是它们忽视了生成模型在增强目标服装商品视觉理解方面的潜力。事实上,生成对抗网络已经在计算机视觉领域的诸多图像生成任务中有着卓越的表现,包括基于文本的图像生成、风格迁移、图像编辑。为了促进目标商品的视觉特征学习,我们利用生成对抗网络作为骨干网络,根据查询图像和用户的属性修改需求直接生成目标商品的模板图像,然后借助生成的模板图像学习表达能力强、区分度高的视觉特征来提高服装检索的性能。然而,基于生成模型的思想不可避免的会遇到以下挑战:1)视觉图像和语义属性从不同层面描述了同一服装商品,两者之间应该共享一些潜在的信息,如何建模视觉-语义的一致性关系来生成合理的模板图像是第一个棘手的挑战;2)粗糙地级联模板图像生成过程和服装检索过程难以取得最优的性能,如何无缝地整合这两个过程并使它们相互学习与促进是面临的第二个挑战;3)理想的模板图像应该满足用户的修改需求同时与目标商品十分相似,如何利用模板图像学习一个鲁棒的距离度量函数也是一个重要的挑战。为了解决以上挑战,我们提出了一个端到端的基于生成式属性修改机制的服装检索方法,模型简称为AMGAN。该方法主要包含两部分:一个生成器和一个判别器。生成器旨在直接合成满足用户属性修改需求的模板图像。其中我们引入视觉-语义一致性约束来桥接服装商品图像信息与属性描述之间的语义鸿沟,以及引入像素层一致性约束来提高模板图像的生成质量。判别器一方面利用语义判别学习来保证正确的属性修改,另一方面借助对抗度量学习来实现服装检索。针对对抗度量学习,我们提出了两种常见的策略:基于二元组的方法和基于三元组的方法。其中,由于生成的模板图片与真实的目标商品十分相似但仍然是伪造的,所以我们将其看作难负例来增强模型的区分能力。通过生成器和判别器的联合对抗训练,我们最终可以得到一个鲁棒的距离度量函数用于服装检索。我们在两个真实数据集上做了大量的实验,实验结果验证了模型的有效性和实时性。
其他文献
2020年国家的职业教育经费投入比2019年多611亿元,增长率超过10%。后疫情时代,以职业教育为主的非学历因社会就业岗位减少、经济萧条的影响发展态势良好,职业资格考试报名人数显著增加。当今社会,很多人因为没有技能在劳动力市场上找不到工作,很多企业也因人才匮乏而苦恼。职业教育正可以解决这一供需不匹配的社会现象。职业教育通过对各类人才进行岗位技能培训,使之达到上岗要求并获得相应的证书。因此,国家大
党的十九大报告强调:“要完善和发展中国特色社会主义制度,推进国家治理体系和治理能力现代化。”督查工作作为推动党委、政府各项重大决策部署、工作安排和目标方针能够得到有效执行、贯彻、落地、落实的重要工具,是推进国家治理能力和治理水平的重要方式,也是确保各项公共政策目标顺利实现的重要途径。新时期以来,习近平总书记多次在不同会议上严肃强调“没有督查就没有落实”,从而指出了督查工作的重要作用,督查工作不断进
生态环境损害赔偿责任作为一项政策导向性规定,其实质是赋予国家一个私法操作、公法性质的请求权。作为一项私法救济措施,生态环境损害赔偿责任体现着鲜明的公法属性。不仅与传统环境侵权责任由很大的差别,在整个侵权法体系中都非常独特。《民法典》将生态环境损害赔偿责任规定为过错责任原则,并将过错要件规定成“违法国家规定”。与传统侵权责任相比,在责任构成上,生态环境损害赔偿,更强调过错的客观性,并对损害行为人提出
党中央在十九届五中全会上明确要求,要始终顺应新的发展趋势,加快构建“双循环”新发展格局。而发展现代物流产业,是推动“双循环”新发展格局的迫切需要和必要手段,可有效强化各产业间的协同对接,对稳定产业链供应链具有十分直接的意义。近年来,国家和各地出台了一系列促进物流产业发展的政策方针,从宏观规划、主攻方向、实施路径和重点任务等多方面给予了政策指导,目前,我国物流产业发展势头强劲,物流市场规模进一步扩大
当前,国际舆论环境愈益复杂,中国与以美国为首的西方国家间的舆论斗争愈加激烈。随着互联网在世界范围内的推广与普及,社交媒体逐渐成为国际舆论斗争的前沿。以Twitter为代表的海外社交媒体上中国相关话题的真实性,关乎公众能否构建对中国的理性客观认知,也关乎国际舆论场中对中国的舆论走向。面对虚假信息,及时发布事实真相是非常有效的应对措施。在海外社交媒体中,面对涉华虚假信息,通常由外交部发言人与以CGTN
股权让与担保作为一种增信手段以其无法替代的优越性受到越来越多融资主体的青睐。但让与担保自被创造之始,合同效力就广受争议,甚至被冠以“私生子”之名。很多学术界及司法实务界人士都认为让与担保双方所签合同应为无效。认为其无效的理由主要有:双方系虚伪意思之表示;物权法定原则之违反;禁止流质之触犯。针对上述理由,已经有很多学者进行了质疑与批判。经过多年的司法实践,司法实务界也从一开始对合同效力不能形成统一裁
碑刻不仅是记录史实的重要载体,而且还具有深厚的学术、文化内涵。在历代官方文献和私家著述中,关于伊斯兰教的记载都是一鳞半爪,但是这些记载散见于全国各地的清真寺碑刻中。清真寺碑刻通过对穆斯林社会的政治、经济、文化等不同层面的如实记载,堪称一部刻在“石头上的穆斯林历史”。要想了解伊斯兰教在中国的传播、发展与演变,就绕不开对清真寺碑刻的研究。当前在倡议“一带一路”、铸牢中华民族共同体意识、坚持伊斯兰教中国
随着近年来人们生活方式改变,增强现实、机器人等高新技术的应用越来越广泛,物体姿态估计也变得越来越重要。由于物体姿态具有6个自由度(3个旋转量和3个偏移量),因此物体姿态估计也称物体6D姿态估计,该任务旨在估计物体在相机坐标系下的位置和方向。对物体6D姿态估计这一任务的深入研究,可以为场景理解,增强现实,机器人控制和导航有关的各种问题提出更有效的解决方案。同时近几年,视觉深度传感器的发展和深度数据的
数据是深度学习的关键,深度学习在图像分类问题上取得了重大的进展,一个重要的原因是拥有大量有标签的数据。CIFAR-10、CIFAR-100和ImageNet等有标签的开源图像分类数据集推动了深度学习在学术界的发展,但在实际工业场景中,有标签的数据仍是少数,大部分数据是无标签的。而数据标注一直是昂贵且费时的,在一些特定的领域,如医学图像分析,甚至要求标注者具有一定的专业知识。主动学习和半监督学习是两
自动式家具摆放方式生成任务在室内家装设计、虚拟现实、计算机视觉等需要数字化室内场景的领域中有广泛的应用场景。传统方法在预先定义家具的位置、功能、合理性等规则后,利用顺序迭代或能量优化的方式进行家具摆放。然而规则的定义以及优化迭代的过程会造成大量人力及时间的消耗。随着大规模室内场景数据集的出现,人们开始探究利用深度学习的方式进行家具摆放,因此需要能够在给定家具和房间结构条件下完成家具摆放任务的神经网