基于动态卷积的StyleGAN非平行多对多语音转换研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:xuming
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语音转换是一种旨在将源说话人个性信息转换为目标说话人个性信息,同时保持源说话人语义内容不变的智能语音技术。随着深度学习与人工智能的发展,语音转换技术先后在非平行和多对多转换问题上取得了突破,如何在非平行多对多语音转换情形下进一步提高转换语音的质量和个性相似度成为该技术从实验室走向工业界的关键。鉴于此,本文以Star GAN-VC模型作为基准,针对转换语音的个性相似度和质量问题展开相关研究与改进。首先,在提高转换语音个性相似度方面,本文提出基于Style GAN-VC模型的语音转换方法。设计多层感知器和风格编码器与Star GAN-VC模型进行联合优化训练,提取说话人风格特征,弥补基准Star GAN-VC模型中说话人身份标签one-hot向量无法提供丰富的说话人个性信息的缺点。同时,采用自适应实例归一化方式将说话人风格特征与语义特征进行融合,使得生成器能够充分地学习到目标说话人个性信息,实现说话人风格转换,进而提高转换语音的个性相似度。经主客观评价分析表明,本文提出的Style GAN-VC模型较基准Star GAN-VC模型,MCD值平均降低了5.03%,MOS值平均提升了31.70%,ABX值平均提升了11.08%,验证了本文提出的Style GAN-VC模型不仅能提升转换语音的个性相似度,且对转换语音的质量也有明显的改善。进一步的,在上述模型改进的基础上,本文从提高转换语音的质量角度出发,提出基于动态卷积的Style GAN-VC模型语音转换方法。利用动态卷积机制提升生成器的生成和表达能力,而非增加网络的深度或者宽度等常规策略。动态卷积网络不同于传统的卷积网络,其具有极强的数据依赖性,可根据输入数据特征的不同,动态地调整每个卷积核的参数,并利用注意力机制赋予每个卷积核不同的权重,而后将多个不同权重的卷积核进行加权组合以获得一个动态的卷积核,再进行相应的卷积操作。因此,具有极强数据依赖性的动态卷积能够显著地提高生成器的生成和表达能力,改善转换语音的质量。经主客观评价分析表明,本文提出的基于动态卷积的Style GAN-VC模型较基准Star GAN-VC模型,MCD值平均降低了8.44%,MOS值平均提升了38.11%,ABX值平均提升了13.78%,验证了本文提出的基于动态卷积的Style GAN-VC模型不仅能显著提升转换语音的质量,且对转换语音的个性相似度也有相应的改善。
其他文献
设备直通(Device to Device,D2D)是指通信系统中邻近设备之间直接进行信息交互的技术。由于传输数据无需基站(Base Station,BS)转发或核心网络传播,D2D通信能够有效缓解通信核心网络的数据负荷,大幅提升系统容量,优化频谱效率。作为5G通信系统的关键技术之一,D2D通信为海量智能终端的大规模接入、超大规模数据传输、低时延通信的实现提供了新的解决思路。然而,D2D链路重用蜂
随着5G以及物联网(Internet of Things,Io T)的飞速发展,海量无线设备被接入无线通信网络中,传统供电方式将无法满足未来通信需求,为能源短缺网络提供可持续能源供应已经迫在眉睫。因此,无线供电通信网络(Wireless Powered Communication Networks,WPCN)和反向散射通信(Backscatter Communication,BC)将成为未来Io
有机激光染料因其具有较低的制备成本,较低的环境毒性、较好的可调谐性等特性而受到越来越广泛的关注。而在可见光波段,有机激光染料相比于无机物而言,具有独特的光学性质等极富竞争能力的优势特点,使得其获得较为广阔的应用空间。光学有源器件目前正广泛应用于各行各业多个领域,例如通信、激光、雷达探测、传感、显示、医疗等。其中尤其是现代光通信,光学探测传感等领域有着举足轻重的地位。传统的光学有源器件主要包括激光器
学位
与地面通信相比,卫星通信凭借其覆盖范围广、通信距离远、不受地理条件影响等优势,广泛应用于地面通信系统难以覆盖或者建设成本过高的地域。卫星通信地球站天线作为卫星通信的一个重要组成部分,是卫星通信网络节点间实现信息传输不可缺少的环节。对于地球站天线而言,中轨道卫星不同于地球同步轨道卫星,中轨道卫星时刻处于运动状态导致天线指向也时刻处于变化状态,如何控制天线动态跟踪上中轨道卫星成为急需考虑的问题。本文主
目前国内快递业发达,但快递成本(包括运输、派件、揽件等环节的成本)随着快递业务量增加而急剧增加,近年已引起了国内外科研人员的密切关注。本课题基于现行的快递定价规则,主要针对用户寄件过程中的“多付钱”问题,聚焦不同的应用场景,分别设计出面向用户自主寄件场景下异构快递点的零散快递合作寄件模型和面向上门揽件场景的合作揽件模型及其优化方法。针对于用户自主寄件场景,在考虑异构快递点和用户移动成本以及合作成本
写意性在中国画中一直是存在着的,在不同的历史时期,时代美术思潮总会把写意性强化或者减弱,笔者沿着历史发展的线索,对写意性进行了梳理,对传统文化造型研究及思想性理论的回归,特别是传统文化历史形成了重要的发展阶段,也做了仔细地分析,文人画思想被历史推举成为中国画的精神主旨并且也进行了相应的理论研究。传神写照的提出有着重要的文化意义,结合人物画写实样式的辩证,直追古风近百年,是中国写意文化的重要时期,通
赵孟頫是中国绘画史上的重要人物,其书法、山水、花鸟、人物、文学、鉴赏收藏等皆取得了很高的成就。在绘画中上承唐宋,下启明清,被后来者推为“元代冠冕”。其中花鸟画亦成就斐然,盖因其“贵有古意”思想和“书画本来同”理论在其中起到了很好的引领。“贵有古意”思想虽为赵孟頫一则山水画的跋文,但观其所有论述,以及“文敏”谥号,方知乃其文学艺术的核心思想和一生的文艺追求。对当时文学艺术产生了很大影响,引领了有元一
与地面通信系统相比,卫星通信具有覆盖范围广、不受地形限制等优点,为解决海洋、沙漠及其他偏远地区用户的宽带无线接入提供了很好的手段,并且成为了第六代移动通信系统的一项关键技术。本文针对多个典型的应用场景,分析了卫星通信系统的性能,揭示了一些关键参数对卫星通信系统性能的影响,从而为实际的系统设计提供了参考和依据。本文的主要工作如下:重点对协议下的系统中断性能等重要性能指标进行评估,并通过蒙特卡罗仿真验
敦煌莫高窟的北朝壁画艺术,以其独特的魅力在莫高窟壁画中具有十分重要地位和作用。他的重要性不光是因为历史和佛教文化的积淀,而且为后世对于传统艺术研究有着巨大推动作用。对敦煌的壁画进行研究,是因为壁画在敦煌艺术中有很大的艺术价值,人们一走进敦煌莫高窟,壁画中的造型和绘画风格一下子映入人们眼帘。北朝属于敦煌艺术发展的早期,经历了北凉、北魏、西魏、北周,早期壁画表现出西域和中原文化之间的交融碰撞。在北朝时