基于音频和文本的多模态音乐风格分类技术

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:chao120
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
音乐风格分类作为音乐信息检索的关键技术,具有广泛的应用场景,例如音乐检索、音乐推荐、音乐社交等。然而,面对海量的音乐进行人工分类已经是不现实的。通过机器学习的方法实现音乐的自动分类是一种有效的途径。然而,先前基于机器学习的方法主要集中在单一模态的特征,例如音频。近年来,文本的分布式表示取得了巨大的成功,在很多自然语言处理任务中都发挥重要的作用。为了综合利用歌词的信息提升音乐分类的效果,本论文围绕基于音频信息和歌词信息的多模态音乐风格分类技术展开研究。我们在提取音频和歌词各自模态的重要信息的基础上融合模态间的数据关系信息,利用不同模态信息的互补性实现快速、准确的音乐风格分类。总体而言,本论文的主要工作包括:(1)提出了一个基于多模态信息融合的音乐风格分类模型,利用梅尔频谱获取音频特征,通过词语的分布式表示技术获取歌词文本的语义信息,并分别设计了特征拼接、平均加权以及混合集成三种融合结构,并通过设计不同分支学习率和音频预加载权重的方式,解决音频和歌词融合模型训练收敛速度不一致的问题,保证模型得到正确的训练,损失函数可以进一步减小;(2)构建了一个多模态音乐风格数据集,并在该数据集上进行了一系列实验,证明了多模态音乐风格分类模型的先进性,验证了多模态音乐风格分类比单模音乐风格分类效果更好,其中混合集成结构拥有最高的分类性能,同时验证了BERT模型能有效地提取歌词的语义信息;(3)最后按数据采集、特征工程、训练评估、模型部署、功能应用的步骤,设计了一个多模态音乐风格分类系统,并集成了音乐分类、音乐管理、每日推荐等系统功能,在Web服务器上设计了系统功能界面和应用服务接口,方便使用和扩展。
其他文献
近几十年来,能源短缺和环境污染问题从始至终都困扰着我国汽车产业的发展,节能与环境保护成为了目前汽车产业发展的重要主题。插电式混合动力汽车(Plug-in Hybrid Electric Vehicles,PHEV)则凭借着其兼备纯电动和混合动力汽车(Hybrid Electric Vehicles,HEV)的优势,已经成为了当前技术水平下最适合大力发展的新能源车型。而其能量管理策略的优劣直接影响着
学位
当前国内的甜菜收获方式一般采用人工或分段式收获,劳动强度大、占用农时多、生产效率低以及甜菜收获质量差等问题日益凸显,严重阻碍着我国甜菜产业的发展。在适应种植区收获模式和满足农艺要求基础上,本文设计了一种甜菜联合收获机的分离输送装置,能够完成甜菜清土、除杂、集垄输送等作业要求,实现了降低甜菜块根含杂率和损伤率的目的。其主要内容包括:(1)对种植区内甜菜块根的生长特征和物理特性进行了研究。对甜菜块根尺
学位
小麦是中国主要的粮食作物之一,年产量超过1.3亿吨,在粮食安全和社会经济发展中占据重要战略地位。干燥和仓储是小麦生产的重要环节,也是最容易受到污染的关键环节,尤其是遇到持续阴雨天气,如不能及时收获并干燥入仓,会导致真菌污染、霉变等,严重影响小麦产量和品质。小麦干燥技术可以省去晾晒环节,干燥后直接入仓,实现不落地生产,是减少粮食污染的重要手段。但目前小麦收获干燥技术应用较少,仓储设备落后、功能单一,
学位
电力系统的安全稳定运行是维持国民经济发展以及人民生活的重要保障。随着电力系统的快速发展,系统规模及系统用电负荷增长迅速,电力系统的电压稳定性问题日益突出。世界各地因电压稳定问题发生了多起大面积停电事件,由此产生了严重的社会影响,给人类发展造成了巨大的经济损失。因此,通过采取有效的增强控制措施提高电力系统的静态电压稳定性具有重要的意义。在以往的研究中,采取单一的控制措施提高电力系统的负荷裕度,所得结
学位
高压输电线路多采用电容式电压互感器(Capacitance Voltage Transformer,CVT)进行电压变换,随着运行年限增长CVT阻抗发生变化,线路投切极易引起CVT参与的铁磁振荡事故发生,甚至诱发区域电网振荡,逐渐可使CVT绝缘降低,长期带缺陷运行后易使电容击穿。受变压器非线性励磁特性的限制,现有研究无法实现铁磁谐振完备的时域响应分析。为推动铁磁谐振机理上的认知,以中性点直接接地接
学位
交联聚乙烯(XLPE)电缆因具有优异的力学性能、热稳定性和电气性能等被广泛应用于中高压输电电缆的绝缘层。但随着输电线路电压等级和容量的不断提升,为了满足电缆高压大容量的输电需求,对XLPE电缆提出了更高的要求。聚合物基纳米复合电介质中的纳米粒子拥有表面效应和体积效应等特点,可以在不改变聚合物原有特性的基础上,显著改善复合材料的理化特性和电气性能等,因此纳米填充物一直是聚合物改性领域的研究热点。其中
学位
现阶段,国内农业机械化水平不断提高,农业机械化地区覆盖率达到70%以上。随着农机使用率的增加,农机事故率也呈上升趋势,其中因疲劳驾驶造成的农业生产事故占较大比重。经过长期发展,疲劳驾驶检测技术已经成为安全驾驶的有效预警手段,但是在农业机械领域应用和研究较少,致命农机事故时有发生。因此,有必要进行农机疲劳驾驶检测研究,减少因疲劳驾驶造成的农机生产事故,提高农机作业效率,保障农机驾驶人员的生命财产安全
学位
LFYL公司成立于2002年,走过了近20个年头的发展历程,现在已成长为一家立足于中国的具有国际视野的医疗器械生产企业。在全球疫情大环境下,LFYL公司取得优异成绩,但是这种突发的、快速增长的需求并非常态。同时,中国医疗器械企业较多,整体水平偏低,规模较小,产品质量一般,无明显差异化,价格竞争激烈,在多变且严峻的外部经营条件下,LFYL公司如何利用自身优势,制定合理的竞争战略,积极主动应对不断升级
学位
为缓解能源危机、减少碳排放等问题,国家正在积极的进行能源结构改革,加大对可再生能源发电的投入,推动构建以新能源为主体的新型电力系统。微电网具有能量自治管理与控制能力,是促进分布式可再生能源就地消纳的有效方式。然而,微电网中风电、光伏等可再生能源大量无序安装,致使主网功率随机性与波动性加剧,供电公司售电量减少,设备利用率下降。基于此,本文提出基于移动储能和电力交易的多微电网协同调度方法,具体研究内容
学位
在高比例可再生能源、高比例电力电子化的背景下,微电网中许多布局分散、随机接入的分布式电源逆变器不具备通信条件,这就要求微电网的并网运行、孤岛运行以及两者的切换需解决通信依赖问题。同步定频微电网利用卫星授时信号,同步各逆变器输出频率和相位,基于电流-电压下垂关系,无需互联通信即可实现微电网稳定运行。现有研究针对孤岛运行控制,还缺乏对并网/孤岛运行转换控制技术的研究。针对上述问题,本文研究了同步定频微
学位