基于判别性字典学习与类标对齐的跨模态检索

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:suease
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网上多媒体数据的爆炸式增长,大数据的相关研究正蓬勃展开。如何有效检索海量多模态数据成为研究的热点。由于不同模态的数据之间存在内容鸿沟,低层特征与高层语义之间存在语义鸿沟,传统单一模态下的检索方法并不适用于多模态的场景。人们期望能够实现不同模态间数据的跨模态相似性搜索。而对于跨模态检索问题,关键的挑战在于如何刻画和关联来源于不同模态的异质数据。  本文以多模态数据为研究对象,利用字典学习方法将不同模态的异质特征通过稀疏表示投影到共同潜空间中,继而在学习到的共同潜空间中实现跨模态数据的关联。同时,在特征表示阶段和特征关联阶段探索了多模态数据中存在的判别性,提出了两种多模态检索方法。论文的主要内容如下:  (1)提出一种基于判别性学习的跨模态检索方法。该方法可以分为两个方面:一方面在表示阶段增加判别性,从稀疏表示入手,通过判别性字典学习获得具有判别性的稀疏系数,在共同空间实现跨模态检索;另一方面在特征关联阶段增加判别性,通过学习一个判别性的共同空间以增强判别性,不同模态数据的稀疏系数映射到共同空间实现关联。实验结果证明了基于判别性学习的方法可以取得较为理想的检索效果。  (2)提出一种基于判别性字典学习与类标对齐的跨模态检索算法。首先,对每一个模态学习各自的判别性字典,从而获得数据的稀疏表示;然后,将得到的稀疏系数映射到类标矩阵定义的共同空间中实现类标对齐;最后,在该共同空间实现跨模态检索。该方法不仅增进了同一模态不同类别数据间的判别性,也增强了不同模态同一类别数据间的相关性。同时,数据之间的相关性与判别性通过在共同类标空间使用类标对齐得到了进一步加强。在多个公开的多模态数据集下的实验结果表明,本文的方法的检索精度优于同类方法。
其他文献
水稻是一种重要的粮食作物,其产量与品质性状受到“源”、“库”、“流”三方面因素的调控。叶片是作物主要的源器官,其衰老进程直接影响作物产量品质。适当延迟叶片衰老有助于
HIV/HSIV在北平顶猴PBMC中的复制特性及APOBEC3G/3FmRNA的表达  构建接近人艾滋病的动物模型一直是HIV/AIDS研究中的热点和难点。平顶猴细胞不表达限制HIV-1复制的限制因子
S波段赋形阵列天线是做为某分布式网络雷达系统的天线接收前端。这种系统是一种利用多部小型的高机动、多功能、模块化的节点雷达通过联网来探测目标的网状部署雷达系统。它
本文通过对荣华二采区10
期刊
摘 要: 多媒体在大城市的学校已司空见惯,但在农村学校还不常用。有些课堂用了多媒体,会使课堂熠熠生辉,靓丽起来,收到事半功倍的效果。  关键词: 多媒体 语文教学 应用    多媒体教学是指在教学过程中,根据教学目标和教学对象的特点,通过教学设计,把现代媒体和传统教学手段相结合,共同参与教学过程,使学生在最佳的学习状态下进行学习。多媒体在大城市的学校已司空见惯,但在农村学校还不常用。不过现在有很多
课堂是一片“动感地带”,流淌着生命的节奏和动人的旋律。课堂也是一片“情感地带”,给人以情思的滋养和心灵的启迪。课堂还应该是情趣和梦幻的栖息地,让课堂充满情趣,充满温馨,充满生命力,不仅是孩子的心理需求,而且是语文学科教学本身的要求。语文教师要想打造“形散而神不散”的高效课堂,让学生乐学、好学、会学,就必须讲究课堂教学的艺术方法,切实地把握好课堂教学的“放”与“收”,充分调动学生的学习兴趣,引领学生
新课标把学生对语言的积累提到了一个前所未有的高度,对各学段的背诵篇(段)数量都有明确的要求。注重学生的积累,老师的认识程度有了很大的提高。  可是有些老师把大部分时间都用在对课文进行字斟句酌、条分缕析上,用在指导学生理解课文上,快下课了才布置学生课后完成某一段的背诵。把背诵任务放在课堂之外,老师最多起监督、检查的作用。其实这很不妥,小学语文阅读教学实质上是指导学生学习语言、发展语言的过程。积累语言
“书读百遍,其义自见”,“熟读唐诗三百首,不会作诗也会吟”,这充分说明了朗读对学习的重要作用。一堂好的语文课在读书声中开始,在读书声中结束,让学生在静态的文本中获得动态的审美愉悦感,更好地陶冶情操。  今天的语文课上,很多老师开始注重朗读指导,并贯彻了《语文课程标准》提出的“以读代讲”、“读中感悟”、“读中体验”的新理念。朗读能拓展学生的思维,激发学生的情趣,能加深学生对课文内容的理解。不少专家学
在数学学习过程中,教师应引导学生领悟数学的运用,提高学生学习数学的自觉性。数学知识具有有序性、系统性、结构性等特点,这是数学科学明显区别于其他科学的标志。力求选择有益
摘 要: 面对传统语文课堂的沉闷气氛,面对新课改的挑战,语文老师责任重大。如何让学生动起来喜欢上语文课,成为语文课堂学习的主体,文章对情境导入,创造平等师生关系,注重提高教师的专业素养,表扬学生的重要性,组织语文实践活动,与时尚相结合等方面作了细致的分析。  关键词: 语文课堂 学习兴趣 学习主体    孔子说:“知之者不如好之者,好之者不如乐之者。”如何提高学生的学习兴趣,让学生喜欢上语文课,使