随着互联网的持续普及与发展,网上购物逐渐成为人们的主要消费方式。在购物网站中应用图像检索的主要目的是,使用户在面向海量的商品信息时更便捷、准确地搜索到满意的商品。传统的商品图像检索仅使用该商品的某一种模态作为检索对象,缺乏对图像和文本模态间信息的关联性、互补性和商品本身具有的检索优势的利用,检索效率不高。融合图像和文本的多模态数据进行商品图像的检索方法,可以更好地满足用户的检索需求。为了实现多模态商品图像检索,需要对不同模态进行特征提取,在特征空间中通过对不同模态的融合得到融合多模态数据的商品特征,并在这个空间中应用高效的索引方法进行多模态商品图像检索。针对本研究涉及的商品图像和商品文本两种模态数据,本文使用深度学习相关技术构建了基于多模态数据的商品图像检索模型,该模型由多模态数据作为输入商品图像检索结果作为输出。通过卷积神经网络提取商品的图像特征,通过神经网络提取商品文本特征,并通过对训练时标签信息的合理利用进一步提高多模态检索模型的鲁棒性。在商品图像和商品文本两种模态信息的融合部分,采用向量级联方法。通过对不同的商品图像和商品文本采用神经网络确定合适的权重,实现两种模态更加有效的融合。为了提高多模态商品图像检索模型的检索效率,本文通过综合考虑交叉熵和三元组损失函数提出了多模态检索模型的目标函数。该函数在保证商品的融合特征有正确的空间分布的同时,将属于同一类别商品的融合特征彼此之间更加靠近,不同类别商品的融合特征更加远离,弥补多模态检索模型对特征之间相互关系的欠缺,提高对多模态数据的建模能力。本文在电商网站中收集的商品数据集上,分别进行了单模态数据和多模态数据的商品图像检索的对比实验。对商品图像和商品文本进行商品图像检索的实验,并与使用多模态商品数据进行商品图像检索的实验效果进行对比,同时使用多模态检索模型分别进行不同的目标函数,和不同的模态融合方法的对比实验。实验结果表明,使用多模态数据的商品图像检索效果更好,使用本文的目标函数实验效果更好。相同的实验环境下,在商品数据测试集上使用多模态数据检索的平均准确度的均值为70.68%,分别高出单模态数据检索结果5.91%和6.01%;分别高出交叉熵和三元组损失函数2.99%和5.88%,验证了本文方法的有效性。