自适应跨模态图像—触觉信号重建关键技术研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:sina
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动通信网络和各类智能传感器的飞速发展,人们对沉浸式交互体验的需求日益增长。触觉作为重要感知模态,是提升用户整体沉浸感、流畅感、参与感的关键。然而,传统的音视频传输方案无法应对突变的触觉信号和其超高的低延迟要求。因此,如何设计一个通用的多模态传输方案,能自适应传输过程中环境、信号的实时变化,实现对数据流的实时控制以适应各种远程操作场景是亟待解决的问题。此外,参考多模态深度学习领域研究成果,将多模态人工智能的技术融入多模态通信中,则可以在某些场景下达到传统通信领域技术难以达到的效果。基于此,本文提出了自适应的跨模态通信框架,并在框架中设计两种自适应跨模态图像—触觉信号重建方法,最后通过大量实验证明所提方法的有效性。主要包含以下三个内容:(1)完成了自适应跨模态通信框架的设计与实现。基于触觉数据量和通信网络属性两方面,根据当前通信环境自对传输方式进行自适应调整。其中包括提出跨模态压缩方案,在不损伤数据质量的情况下,利用互补模态进一步压缩数据量;其次,根据应用场景和通信网络属性,自适应调整传输优先级;最后利用第四章和第五章中提出的信号重建模型,在接收端进行跨模态信号恢复。此外,在自己搭建的远程通信场景中验证了传输框架的有效性。(2)提出了基于自编码器的自适应跨模态图像—触觉信号重建算法,可为新型多模态应用保证传输服务。在模型中,针对稀疏数据对对模型泛化的限制,从未配对的视觉和触觉领域迁移有效知识到配对模态领域。同时,挖掘不同模态的互补性和关联性实现跨模态语义一致性。其中,我们联合域对齐和特征区分学习来弥补模态间数据的高度异构,类别区分的共享语义特征可以为领域对齐提供良好的执行环境。最后,在LMT数据集和我们自己构建的跨模态数据集上,评估了提出的跨模态重建模型的有效性。同时也结合第三章提出的通信框架,验证了最后的通信体验质量。不难看出,深度学习模型与通信框架的融合可以很大程度解决传统方法面临的挑战。(3)提出了基于CGAN的自适应跨模态图像—触觉信号重建算法,可为新型多模态应用提供高质量传输服务。提出的框架包含两个模块:特征提取模块和信号生成模块。在特征提取模块中,利用基于实例权重的迁移增强方法,有效抑制负迁移的发生,进而提取有益特征。在信号生成模块中,利用两个独立的条件生成网络,将提取的特征与随机信号连接输入生成器,从而实现跨模态互生。从结果对比来看,本章提出模型的输出信号在质量上较第四章有明显提升,但在数据类别对应上不如第四章提出的模型,这也是生成对抗模型的不稳定所造成的。此外,还在实验中显式地展示了实例权重在迁移中起到的效果。
其他文献
近年来随着脑科学与计算机技术的不断发展,脑机接口作为新型人机交互技术逐步成为社会界与学术界的热门话题。从最初仅在医疗与科学领域的应用,到近来的商业民用化,再到未来连接元宇宙虚拟世界的畅想,脑机接口技术正快速进入到人们的日常生活中,尤其在残障人士的肢体恢复与改善、人员行动辅助与补充等场景下具有广阔的应用前景。本课题使用便携式单导脑电波采集设备,主要利用脑电伪迹信号特征,在低成本、低功耗嵌入式处理器平
学位
随着移动业务的快速发展,计算、存储和电池资源有限的用户设备已经无法满足高复杂度和高能耗服务的需求。移动边缘计算(Mobile Edge Computing,MEC)通过将计算、存储和服务功能迁移到网络边缘,使得用户设备可以将任务卸载到边缘服务器,从而减少用户设备任务的完成时延与能耗。如何进行高效的卸载决策和资源分配以降低任务的完成时延与能耗已成为重要的研究课题。本文对异构蜂窝网络中用户任务卸载以及
学位
随着移动网络技术的发展和广泛应用,无线网络不仅需要满足海量移动数据的使用以及高速率,同时还要提高服务质量,因此网络的高效管控是一个巨大的难题。传统网络的管控需要大量的人力物力,且效率也是一个问题。数字孪生技术使物理空间与虚拟空间相互交互,综合利用感知、运算、模型等技术,并利用软件定义,对物理空间实现了描述、诊断、预测、决策。可以为现代网络的管控提供的强大的技术支持。针对这些问题,本文深入研究了5G
学位
作为应对移动互联网和海量物联网日益增长的接入需求最具前途的技术之一,非正交多址接入(Non-Orthogonal Multiple Access,NOMA)技术近年来受到了积极的关注。与传统的正交多址接入(Orthogonal Multiple Access,OMA)技术相比,NOMA系统具有更高的频谱效率、更快的传输速率以及保障更多的用户接入。NOMA主动引入用户间的干扰,其高频谱效率是通过增加
学位
智能反射面(intelligent reflecting surface,IRS)是一种新兴的,很有前途的B5G(6G)无线通信技术。它是由大量无源的或者有源的反射元件组成的大型二维阵列,可以通过改变信号的相位和幅度改善信号传输的环境,减少信道干扰。毫米波属于甚高频段,单跳通信距离较短,因此多跳的接力通信是毫米波通信的研究前景。IRS可以有效地控制信号的传递途径,包括相位,振幅,频率甚至偏振,而无
学位
大数据时代,充足的训练数据给机器学习带来了巨大的性能提升。大量的数据也意味着需要大量的人工标注,然而人工标注往往耗时耗力,这催生了迁移学习(Transfer learning,简称TL)的发展。迁移学习旨在借助相关源域的知识辅助目标域学习,以解决目标域数据或标记稀缺的问题。域适应(Domain Adaptation,简称DA)学习是迁移学习中的重要研究方向。域适应方法通常利用基于距离或者对抗的方式
学位
雾霾天气下,由于空气中存在大量漂浮着的粒子,光线传播过程中与这些悬浮粒子相互作用,使得光线发生散射,最终到达成像设备的场景光信息受损。所以拍摄得到的图像存在对比度较低、清晰度低、细节丢失等问题,影响后续对图像的进一步处理应用。因此,对有雾图像进行去雾工作,使其能够应用于高级别的图像处理任务。本文基于深度学习对单幅图像去雾算法进行了研究,主要工作如下:(1)针对基于深度学习的非端到端图像去雾算法对模
学位
随着社会经济的不断发展和人民消费水平的提升,消费者对物质生活水平的需求不再仅仅体现在数量上,同时对商品的质量也有了更高的要求。供应链溯源技术是保障商品质量的首要方案,但在传统中心化存储的供应链溯源系统中存在信息孤岛、恶意企业对溯源信息进行修改不易被察觉和溯源难的问题。区块链具有去中心化、不可篡改性和可追溯性等特点,这些特点使其在商品溯源方面具有不可替代的优势。然而由于供应链溯源管理的参与方较多且存
学位
随着移动通信与多媒体技术的发展,多媒体服务正在从传统单一、平面、应答式的内容服务,向沉浸、立体、交互式的技能服务演进。触觉互联网在传统多媒体通信的基础上,加入新的触觉类媒体,实现了物体感知模式的进化,能够在远端敏锐地感知细微的变化,提升用户服务体验。然而,触觉互联网对通信环境提出了更高的要求,网络延迟必须低至毫秒级别,网络通信可靠性必须至少高达99.9999%。如何保障超可靠低时延通信成了触觉互联
学位
过去几十年间,量子纠缠和Bell非局域性这种对称量子关联,引起了人们的广泛关注,并取得了丰硕的研究成果。然而,直到最近几年,量子导引这种非对称量子关联才开始进入人们的视野。它是一种介于量子纠缠和Bell的非局域性之间的量子关联形式。由于其独特的不对称特性,使得它在量子通信、量子计算和量子密码等许多领域发挥着不可替代的作用。然而,在量子领域,一个不可避免的问题是,量子系统会与周围环境彼此耦合,导致量
学位