面向用户意图的社会化图像检索

来源 :清华大学 | 被引量 : 0次 | 上传用户:zonglijuan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像检索在信息检索领域中扮演着越来越重要的角色。传统的图像检索方法由于很难获取到用户的个人信息,因此更侧重于语义鸿沟(即图像底层特征到高层语义之间的鸿沟),而缺乏对意图鸿沟(即用户内心的搜索意图和表达出来的搜索请求之间的鸿沟)的研究。近些年来兴起的社交网络为研究者获取用户个人信息,分析用户个人兴趣偏好提供了有效的途径。本文通过将用户行为、个人属性、用户关系等社交上下文信息与图像的视觉信息在图像表征、距离度量、结果重排序等图像检索中的三个主要阶段进行融合,借助对用户偏好的建模分析理解用户在图像检索中的意图,从而提出面向用户意图的社会化图像检索方案来解决图像检索中的意图鸿沟问题。本文的主要贡献如下:1.提出社交信息嵌入的图像视觉表征学习方法。本文通过多任务深度学习框架,在图像表征学习阶段将用户行为信息和图像语义信息进行融合,同时考虑了社交行为数据的稀疏性、不可靠性等问题。通过对图像分类任务与兴趣学习任务的联合优化,使得学习到的图像特征可以同时包含用户兴趣和图像语义两方面信息,从而更好地理解图像推荐与检索任务中的用户意图。2.提出知识图谱关系嵌入的图像表征学习方法。该方法针对传统基于标注信息进行图像表征学习的方法中标注信息的准确性及完整性有所欠缺的问题,将知识图谱中概念之间的多种关系信息嵌入到多标签图像表征学习任务中,并利用关系约束的回归卷积神经网络模型对两个问题进行联合优化,使得学习到的图像表征不仅能够反映图像标签信息,还可以包含概念之间的关联关系。3.提出社交信息嵌入的图像度量学习方法。在以用户为中心的应用(如图像检索、推荐等)问题中,传统的基于视觉特征的图像距离度量方式无法有效捕捉用户的实际意图。本文提出社交信息嵌入的图像距离度量学习方法,将图像对应的社交行为相似度嵌入到视觉特征空间中。对图像的视觉特征空间进行变换,使得变换后的相似度与用户的社交行为相似度达到一致。通过这种方法,可以仅利用图像的视觉特征对它们的社交相似度进行预测。同时,本工作验证了学习到的图像度量函数相比于传统的图像度量方法,能够更好地反应用户在搜索、浏览行为中的用户意图。4.提出社交行为与视觉信息融合的个性化图像重排序方法。本方法利用用户所在群组在社交平台中的行为信息,理解用户的兴趣,从而为用户提供个性化的图像搜索结果。面对社交信息的稀疏性,以及社交空间多模态信息的复杂性等问题,本方法利用随机游走模型,在基于社交信息和视觉内容的混合图上对搜索结果进行重排序,从而在给出符合用户个人偏好的搜索结果的同时保证结果的语义相关性。同时,本工作还证明了社交信息在个性化搜索中的有效性和重要性。
其他文献
近年来,中国承包商在国际工程承包领域发挥着越来越重要的作用,承建了或即将承建各类大中型国际工程项目。根据2015ENR国际承包商年度排名,中国有65家承包商进入世界250强,上
敦煌哲学既是中国哲学的一个重要部分和重要补充,同时它又有其自身的独特性和独立性。敦煌哲学并不只是对历史上敦煌的各种观念和思想的筛选和解释,而应该是对蕴藏于敦煌历史
南水北调中线工程作为缓解中国北方水资源严重短缺局面的重大战略性工程,2014年汛后起向北京供水。通水初期,沿线各省市境内配套工程正在建设,所接纳的水量尚未达预计规模,有
<正>加强对个体税收征收管理,是近几年中税收征管的热门话题,笔者就本省的一些情况,对如何加强个体税收征收管理工作谈谈看法。 一、个体税收管理存在的问题 个体税收管理
李碧华小说以鲜明的女性主义立场和独特的女性主义视角,塑造了富有叛逆思想和抗争意识的女性形象,对两性关系进行了深度拷问,向"吃女人"的男性霸权文化表示了强烈的质疑和有
氡是最重要的天然辐射源之一,其辐射危害一直是辐射防护领域研究的热点问题。目前,对于氡辐射所致健康效应的研究方法主要有流行病学调查和放射生物学实验,两种方法的结果都
实验室合成的吖啶酮类衍生物8a对CCRF-CEM白血病细胞表现出良好的抗肿瘤效果,但对于它的抗肿瘤作用机制仍不清楚。本研究利用组学手段,研究吖啶酮衍生物对CCRF-CEM的作用,从
为了批判当代资本主义社会的现实弊病,构建理想社会生活的标准,霍耐特以承认理论开始了对社会批判理论的规范性重建。国内学者把霍耐特的理论重建解读为以承认理论为主、其他
作为网络数据处理与传输枢纽的路由交换设备可能存在安全漏洞,导致其服务行为不符合用户预期,严重威胁网络安全。为保障用户数据传输的保密性和完整性以及网络自身的可用性,
当下,图像成为了我们生活的重要组成部分,它不再仅是对现实生活的反映,而是带来了人类视觉方式的深刻变革。这些图像日益扩展并渗入到我们生活的各各领域,人们被越来越密集的