多模态媒体数据是指从多个方面描述一个场景或一个事物中所包含的信息,包括文本、图像、视频、音频等多种媒体形式,每一种形式即为一种模态。在互联网飞速发展的大浪潮下,信息传播进入全球化时代,媒体数据的多样化使得各种基于位置的社交网络蓬勃发展,用户可以随时随地进行分享,“秀才不出门,便知天下事”已从理想变为现实,海量数据的爆炸式增长,使得多模态媒体数据的研究成为现阶段的研究热点。不同模态间数据协同互补的同时却也存在着较大的差异,“语义鸿沟”问题的存在使得多模态数据处理存在诸多难点。针对多模态数据处理中出现的问题,本文提出一种基于多模态媒体数据的地点语义建模方法,将深度学习引入多媒体数据分析中,通过整合多种模态数据进行语义建模。首先,利用Scrapy框架爬取Foursquare和Flickr网站的多媒体数据,通过CNN-LSTM网络训练内容检测器,解决不同模态间数据的不一致问题;然后利用数据间的关系构建多模态异构图;最后通过图分类的方法提取地点的语义信息。基于获得的地点语义,本文提出三个应用,图像场景预测、场地语义摘要、图像自动标注。为验证所提算法的有效性,在跨平台数据集上进行大量实验。实验结果表明,提出的语义建模算法可以实现场地层面的图像场景预测,并提供更加多样、完整的场地语义摘要信息,同时可以实现图像的自动标注,进一步说明了算法的优越性。