基于深度学习的印刷体乐谱识别方法研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:youxiang123hao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
光学乐谱识别(Optical Music Recognition,OMR)是实现乐谱图像数字化的重要途径,在计算机音乐、数字音乐图书馆、计算机辅助音乐教学等领域有着广泛的应用前景。音乐符号的识别是光学乐谱识别的重要研究内容。目前在音乐符号识别上存在着一些难点:乐谱的结构非常复杂、音乐符号的尺寸极小、部分符号过于密集(和弦)等导致音乐符号的识别精度不高。随着人工智能技术迅猛发展,深度学习算法在OMR领域得到尝试并取得初步成果,为OMR的研究开辟了一条新的道路。本文以印刷体乐谱为研究对象,基于深度学习算法,对音乐符号的识别进行研究。具体研究内容如下:第一,针对目前OMR数据集标注信息不完整导致无法识别音符时值、音高的问题,研究生成包含音高、时值标签的数据集。首先通过解析MXL(Music XML)文件获得模型训练所需的乐谱图像和对应的标签数据;之后联结符杠、附点、符尾等信息获取音符时值标签,从音符位置信息中解析出音高标签;最后添加噪声、随机裁剪等数据增强方法来增加数据的多样性。第二,针对OMR识别过程复杂、识别精度不高的问题,研究基于YOLOv3的端到端印刷体乐谱识别模型。该模型以整张乐谱图像为输入,直接输出符号的时值、音高以及类别。该模型同时采用多任务学习,同时学习音高、时值的分类任务和音符坐标的回归任务,提升了模型的识别速度。通过乐谱图像测试集对本文模型进行验证。实验结果表明:音符识别精度高,可以达到0.96的时值准确率和0.98的音高准确率,目前高于其它乐谱识别模型的音符识别精度。第三,针对乐谱图像中复调(和弦)检测难度大的问题,研究了基于微调(Fine-Tuning)技术的复调乐谱图像识别。首先人工标注适量的乐谱图像作为复调识别的数据集;之后针对特定符号(连音线)添加额外的回归分支,从而提高连音线的识别精度;最后结合神经网络微调技术,对基于YOLOv3的端到端印刷体乐谱识别模型进行微调来提高复调乐谱识别精度。实验结果表明:在保持符号识别精度不变的情况下,极大提升了复调、连音线的识别精度。
其他文献
在数据挖掘范畴中,关联规则算法是至关重要的一个分支。在计算机技术与互联网飞速发展的今天,金融、电信、保险等多领域日常数据呈现出爆炸式地增长,分布式关联规则算法有了
随着计算机科技的发展与应用,人脸识别技术已经普遍应用于人类生活的各个角落。例如,公司门禁系统、相机人脸自动对焦等。尽管目前人脸识别技术已经得到了很大的发展,更快速
近年来,我国建筑产业规模不断扩大,总产值持续增长,传统监管方式逐步显现出许多不适应建筑市场快速发展的特征。在新疆范围内各数字化管理系统的功能大多比较单一,且各相关业
变速抽水蓄能可成为电网负荷频率控制、平衡可再生能源发电出力波动的有效手段。为了充分发挥抽水蓄能机组的调峰、调频能力,采用交流励磁电机替代同步电机,提高机组的效率,增强系统稳定性。目前国内外研究单位大多还是从经济效益出发对常规抽水蓄能电站进行评估,对于抽水蓄能技术评估尤其是变速机组的功率调节能力还很少有量化研究。基于此,本文通过对变速抽水蓄能机组功率调节能力的影响因素指标进行探究分析,提出具体量化评
近年来,随着我国建筑行业的不断升温,越来越多的绿色新型建筑材料投入并应用于建筑市场当中,而作为建筑材料中十分重要的组成—墙体和墙板材料,其发展方向也逐渐向绿色、节能
随着我国高速公路的四通八达建设,逐渐地拉近了各地的经济发展距离,并使得我国经济快速平衡的发展,但是约占全国总面积三分之一是大片的山区,然而山区高速公路建设中所牵涉的环境问题也越来越严重和突出,山区高速公路的建设常常对周围的环境和资源造成了巨大破坏,快速发展更多更好的公路理念和维护环境自然生态的要求,在高速公路工作中一直充满矛盾,为了避免或减少项目对环境的不利影响,建设单位必须从高速公路设计源头路线
研究性学习是一门以学生为主体的、具有实践性的教育与教学活动,目的是使学生通过自主学习,养成终身学习和可持续发展的习惯,并在学习中提升实践能力。伴随全球化进程加快,我国新课程改革进入深化阶段,素质教育全面推进,研究性学习能够为新课程改革提供新方向,使学生和教师的观念都得到转变,能够推动素质教育目标的实现。本文以海南省昌江黎族自治县矿区中学为例,通过在本校高中历史课堂中,对研究性学习的实践与反思,阐述
随着无线通信技术的进步和对新技术的广泛研究,为了实现更可靠,安全和高速的连接,多入多出(MIMO)即将成为最有竞争力的技术。简而言之,MIMO是在发射机和接收机端布置两个或以
目的:本课题采用龙虎交战针法治疗腰椎间盘突出继发坐骨神经痛,并与常规针刺法进行对比,探讨龙虎交战针法对腰椎间盘突出继发坐骨神经痛的有效性与可行性,为治疗腰椎间盘突出继发坐骨神经痛提供临床思路。方法:病例选取2018年10月至2019年11月就诊于石家庄市中医院针灸科门诊及病房并符合纳入标准患者,共60例。采用随机数字表法分为两组,治疗组(龙虎交战针刺组)30例,对照组(常规针刺组)30例。两组治疗
近年来,越南旅游业不断突破和发展,被世界旅游组织列为世界旅游增长最快的国家之一。在对旅游开发有利的条件下,尤其是具有海洋旅游的优势,城市旅游的核心价值,已经达到了吸引人的目的地,并且正逐渐成为全国旅游的亮点,尤其是岘港旅游,每年吸引数百万的游客。对于国际游客来说,在过去的一段时间,随着人流量的不断增长,城市也将面临一定的挑战。随着“旅游热”的迅速升温,并且已经达到了一个高的阶段,如果不解决手头上的