论文部分内容阅读
语义信息作为音乐内容的最高级抽象形式,能够被人们直接理解和交流。其中,情感语义是表达音乐的最本质特性。基于情感的音乐内容分析和合成研究是计算机音乐研究领域的重要组成部分,对推动多媒体技术和音乐娱乐中情感因素影响的发展具有重要意义。本论文围绕基于情感的音乐内容分析和合成开展了若干关键技术的研究,重点探讨了如何综合利用度量函数和特征进行相似性匹配评估的问题?如何弥补音乐底层物理特征相似性评估和高层情感感知语义相似性评估之间的语义鸿沟问题?如何解决音乐作品合成中知识表示、创作性和人机交互性、质量评估问题?本文的主要贡献可归纳为:(1)采用midi音乐格式,立足于音乐内容的情感分析,定位音乐的主音轨,识别主旋律片段,设计主观评估实验来得到具有独立情感语义的主旋律片段,并以此构建所分析音乐的情感表达模型;提取独立情感语义主旋律片段基于音符属性的整体统计特征以及时间序列特征;利用上述两者的结果,建立了包含音乐底层物理特征和高层情感语义特征的数据集,为后续的基于情感的内容分析建模提供数据样本。(2)在音乐情感内容分析建模的过程中,首先针对模型中相似性度量问题,提出了一种新的方法,基于遗传算法的度量函数选择和特征选择方法,综合利用度量函数和特征组合进行模式相似性匹配,选择满足进化目标的最优度量函数和特征组合,并在人工数据集和部分UCI数据集上验证所提方法的效果。随后,结合音乐情感的主观性,在上述方法基础上,提出了一种基于交互式遗传算法的度量函数和特征选择方法。引入了人的主观情感感知相似性评估,用以弥补底层物理特征相似性评估和高层情感感知语义相似性评估之间的语义鸿沟。结合已建立的数据集构建尽可能符合人对音乐情感感知相似性评估的内容分析模型。(3)使用KTH规则来表达音乐知识,将交互式遗传算法用于情感音乐合成。在音乐合成过程中,用户根据事先设定的情感诉求于合成作品所表达的情感的差异给出评价,使得合成的作品融入了用户的主观感受和情感体验。将心理物理学中构建心理量表的方法用来度量合成音乐作品的质量,为计算机合成音乐作品的质量评估问题提供了一种思路。