在大数据时代,音乐行业借助于强大的计算系统与多种储存技术在不断的变化与革新。其中,数字音乐成为一种主流。面对海量音乐数据,同一首音乐作品可能存在多种储存形式,如视频,音频,歌词和五线谱等。在此背景下,对具有相同语义的音乐作品进行对齐越来越重要。曲谱对齐一般是指通过生成特征序列的方式,对相同语义的音乐进行时间维度的对齐。同时,曲谱对齐对音乐信息检索是重要的补充并且具有重要的意义。然而传统的曲谱对齐技术仍存在一定的局限性,如仅仅依赖手工设计的特征带来的非最优化与鲁棒性问题。更为关键的是,传统的曲谱对齐技术无法直接解决多种模态数据存在的“语义鸿沟”问题。近年来,深度学习技术在图像、语音领域相关任务上得到了有效性验证,一些基于深度学习的多模态模型很好地解决了不同模态数据间的语义鸿沟问题。因此基于多模态模型的曲谱对齐技术成为了研究重点。本文主要研究的是基于多模态模型的曲谱对齐技术。在多模态数据形式上,主要选取了音频与MIDI两种储存形式。首先,使用音频信号处理技术与深度学习技术,依次提取浅层与高层特征序列;最后,借助于序列对齐算法完成两种模态数据的对齐。基于上述流程,本文研究了初级特征提取、特征提取网络以及特征转化空间对音乐对齐效果的影响·,同时,针对音乐信号设计了新的损失函数训练多模态模型。本文的主要工作内容有:1.初级特征提取的研究。该部分对初级特征的研究分为音频与MIDI两部分。针对音频数据,分别选取了特殊设计的STFT、MFCC以及CQT作为音频特征,分析得出多分辨率的音频特征可以提升曲谱对齐效果;针对MIDI数据,对88维音高特征、12维色度特征和12维色度的Onset特征进行组合,对比实验结果表明Onset信息对音乐信号对齐十分关键。2.特征提取网络的研究。该部分使用了几种流行的卷积神经网络结构提取高层特征。结合实验结果以及网络的结构参数,分析并选择了最优的网络结构。3.特征转化空间的研究。该部分选取了欧式空间、曼哈顿空间以及余弦空间分别作为高层特征的转化空间。分析比较了几种特征空间对音乐对齐的影响,实验结果显示欧式空间是最优的特征转化空间。4.损失函数的设计。基于初级特征提取的研究成果,该部分在损失函数中设计了 Overlapping关联对,这一关联对能够使模型在训练过程中学习到音乐的Onset信息。与目前较为先进的曲谱对齐算法进行对比实验,实验结果表明本文提出的模型对曲谱对齐有一定的提升。5.音乐数据库检索。该部分将本文提出的算法模型运用于实际的音乐数据库检索任务上,并且针对检索任务进行了一定的优化设计,最后在片段检索与音乐识别任务上进行了验证。