检索结果-南通市图书馆

跨模态通信中的视觉-触觉信号互助重建关键技术研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

跨模态通信中的视觉-触觉信号互助重建关键技术研究

作者：高子涵南京邮电大学

学位级别：硕士

包含了音频、视频、触觉信息的多模态业务有望提升用户的沉浸感体验,其正成为5G甚至6G时代的杀手级应用。为了支撑多模态业务,跨模态通信技术应运而生。然而,当多模态业务中的触觉信息和视觉信息同等重要时,跨模态通信方案的设计仍然面... 详细信息

包含了音频、视频、触觉信息的多模态业务有望提升用户的沉浸感体验,其正成为5G甚至6G时代的杀手级应用。为了支撑多模态业务,跨模态通信技术应运而生。然而,当多模态业务中的触觉信息和视觉信息同等重要时,跨模态通信方案的设计仍然面临着诸多技术挑战。一方面,有限的可用传输资源无法同时适应具有不同传输需求的视觉流和触觉流,导致音视频和触觉模态之间的竞争不可避免。另一方面,由于传输条件的劣化和延迟,接收到的视觉信号和触觉信号的质量不能得到保证。为了灵活处理这些可能出现的问题,本文提出了一种面向视觉—触觉同等重要业务的跨模态传输策略。它包含了发送端的视觉-触觉互助流传输协议和接收端的视觉-触觉信号互助重建方法。对于前者,受人类视觉-触觉感知相关性的启发,可以消除视觉流和触觉流的传输冗余。对于后者,通过探索语义相关性,受损或延迟的视觉或触觉信号可以在另一种模态的帮助下重建。具体而言,论文的主要研究内容以及创新点如下:首先,提出面向视觉—触觉同等重要业务的跨模态通信的体系架构。其包含发送端的传输压缩机制以及接收端的信号重建模型,即,联合利用灵活的传输调度方案和跨模态重建方案,动态地调整传输策略。该架构在实现视觉流和触觉流的冗余消除来提升资源利用率的同时,保证通信中灵活地解决视觉和触觉信号的丢包和延迟问题。其次,设计视觉—触觉信号互助重建算法(VHMR),其更好地阐述不同模态之间的语义关联,实现视觉触觉数据互相生成。将该模型置于接收端,用于生成缺失和延迟的视觉信号或触觉信号。VHMR由四个模块组成:基于知识迁移的特征提取、基于模态融合的语义关联、基于对抗学习的模态内信号重建以及基于循环一致性约束的模态间信号重建。在公开的标准多模态数据集和真实搭建的跨模态通信平台上的实验结果验证了VHMR的视觉触觉重建性能。最后,为进一步细粒化重建信号的生成效果,引入了关于层级细节的约束框架,设计基于层次语义约束的细粒化视觉—触觉互助重建算法(HFG-VHMR)。首先,知识迁移不仅考虑领域间的模态内语义信息差异,还考虑了模态间信息差异,可以有效地提高特征提取的效果;接着,通过模态融合,挖掘潜在的语义关联;最后,基于层次语义约束,实现跨模态信号重建,以分类理解模型作为重建网络的监督与参考,有效地引导信号高质量、细粒度的重建。实验结果表明,HFG-VHMR方法进一步提升了视觉—触觉互助重建质量。

关键词：跨模态通信传输机制视觉—触觉信号重建互助深度学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

跨模态通信中传输策略优化研究

跨模态通信中传输策略优化研究

作者：文梦甜南京邮电大学

学位级别：硕士

随着无线通信的飞速发展,由传统视听服务和新兴触觉信息融合而成的多模态业务正逐渐成为未来应用的主流。在多模态业务中,音视频业务主要要求高速率传输,触觉信息主要要求超高可靠超低延迟传输,但现有的传输策略大多针对不同模态业务单... 详细信息

随着无线通信的飞速发展,由传统视听服务和新兴触觉信息融合而成的多模态业务正逐渐成为未来应用的主流。在多模态业务中,音视频业务主要要求高速率传输,触觉信息主要要求超高可靠超低延迟传输,但现有的传输策略大多针对不同模态业务单独设计传输机制,难以满足多模态业务的多样化传输需求。此外,随着数据量的不断增长,信号缺失、延迟等传输过程中引起的问题日益明显,对多模态业务的服务质量产生严重影响,显著影响用户体验。因此,设计一种有效的跨模态通信传输策略,以实现对多模态业务的合理承载是非常有意义的。网络切片技术能够将同一网络环境划分为多个相互独立的切片,每个切片能够根据不同模态业务的需求进行单独配置,从而能够为多模态业务的协同传输提供一种合理且高效的解决方案。本文对跨模态通信中基于网络切片技术的多模态业务传输策略展开研究,探索多模态业务的高效高质量传输方法,全面提升用户的沉浸式体验,开展的主要研究工作如下:(1)针对不同模态业务在传输过程中相互影响,从而导致业务性能下降的问题,设计跨模态通信中的网络切片隔离传输策略,在传输开始前预留分配给各模态业务的切片资源,有效降低各模态业务间的相互影响,实现多模态业务的高效传输。同时,建立了传输过程中的投资回报率模型,在有限的通信资源投资下最大化多模态业务的服务质量,尽量节约资源,减少浪费,并将投资回报率最大化问题分解为数据流的功率控制问题和切片的资源分配问题。首先,通过确定功率的取值范围,将数据流的功率控制问题转化为凸优化问题进行求解。进而,在最优功率控制情况下解决切片的资源分配问题,并设计了一种启发式算法对其进行求解,以获取系统的最优投资回报率。(2)针对多模态业务中触觉信息短包传输、零星出现且具有超低延迟要求的特点,设计跨模态通信中的网络切片穿孔调度策略,有效解决隔离传输带来的切片资源浪费问题。同时,引入智能反射面技术对传输环境进行优化,尽可能减少穿孔所需资源量,从而减小穿孔调度带来的多模态业务性能损失,并构建基于不同时间尺度的资源分配模型,在最小化音视频流数据速率损失的同时,最大化触觉流数据包接纳率。首先,在每个时隙开始时主动设计相移矩阵配置,以增强网络中所有用于传输多模态业务的切片增益。其次,基于迷你时隙对多模态业务的功率和频率展开联合优化,并提出了一种启发式算法进行求解,获得最优资源分配方式,以在最小化音视频流速率损失的同时,最大化触觉流数据包接纳率。

关键词：跨模态通信网络切片隔离传输穿孔调度投资回报率智能反射面

跨模态通信系统中多业务流量资源分配关键技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

跨模态通信系统中多业务流量资源分配关键技术研究

作者：尹安敏南京邮电大学

学位级别：硕士

5G通信技术的发展给人们带来了更加多样化的业务选择,使得触觉数据这类对于时延有很高要求的业务数据的传输成为可能。融合了视听触三种业务数据的跨模态通信系统,通过多种模态数据的引入让人们获得更真实和丰富的多媒体体验。在传输中... 详细信息

5G通信技术的发展给人们带来了更加多样化的业务选择,使得触觉数据这类对于时延有很高要求的业务数据的传输成为可能。融合了视听触三种业务数据的跨模态通信系统,通过多种模态数据的引入让人们获得更真实和丰富的多媒体体验。在传输中,视频业务数据量较大且需要较高的传输速率,而触觉数据更注重传输时延且出现具有突发性和随机性。传输需求的差异使得两类业务数据在无线资源分配方面有一定的冲突,通过一种有效的方式为视频和触觉业务数据分配无线资源,从而实现跨模态通信系统中两类业务数据的联合传输和资源的合理利用是有必要的。本文对跨模态通信中视频和触觉两类业务数据的联合资源分配进行了研究,主要工作如下:(1)针对系统中两种业务数据传输需求差异所带来的资源分配问题,本文提出了一种基于穿孔架构和网络切片的资源分配方案,在实现两种业务数据联合传输的同时实现灵活的资源分配和高效的资源利用率。为了减少穿孔资源占用对用户视频数据传输的负面影响,构建了与传输速率和可靠性相关的优化问题。将优化问题分解为信道资源分配和触觉数据穿孔资源分配两部分,分别通过信道匹配算法和穿孔资源分配算法进行求解。同时对按比例占用和按资源块占用,两种穿孔资源占用方式对用户视频数据传输的影响进行了讨论。仿真结果表明了所提方案在实现跨模态通信系统中两种业务数据联合传输方面具有优势。(2)针对穿孔架构下,大量触觉数据包到达所引起的过量频带资源占用和较大触觉丢包率问题,本文提出了基于M/M/1排队模型的联合资源分配方案。在穿孔架构的基础上引入M/M/1排队模型,对到达的触觉数据包进行排序,实行先到先服务策略。将超出当前微小时隙能承载的触觉数据包放于队列中等待,在后续时隙进行传输,从而避免过多的视频数据频带资源占用,并降低触觉数据包的丢包率。从两种业务数据的传输需求出发,分别建立合适的服务质量(Quality of Service,QoS)指标,构建以最大化两种业务数据QoS指标为目标的优化问题。通过深度确定性策略梯度算法来进行视频数据和触觉数据传输资源的联合优化,实现QoS指标的最大化。引入Jain公平性指数对方案资源分配的公平性进行评估,仿真结果表明,在公平性、有效性以及传输可靠性等方面所提方案均优于对比方案。

关键词：跨模态通信资源分配穿孔架构触觉业务排队模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

跨模态通信理论及关键技术初探

中国传媒大学学报（自然科学版） 2021年第1期28卷 55-63页

作者：高赟魏昕周亮南京邮电大学通信与信息工程学院南京210003 南京邮电大学宽带无线通信与传感网技术教育部重点实验室南京210003

传统视听服务和新兴触觉服务的相互加持,必将为多媒体用户带来更为极致的互动感受和场景体验。针对音频、视频和触觉信号在物理特征、传输需求、呈现形式等维度上均存在本质差异大的问题,提出音-视-触跨模态通信构架,主要包括触觉信号... 详细信息

传统视听服务和新兴触觉服务的相互加持,必将为多媒体用户带来更为极致的互动感受和场景体验。针对音频、视频和触觉信号在物理特征、传输需求、呈现形式等维度上均存在本质差异大的问题,提出音-视-触跨模态通信构架,主要包括触觉信号编码、多模态异构码流传输、跨模态信息重建三个方面。首先,基于用户触觉感知机理介绍当前高效、鲁棒的触觉信号编码方案,为实现信号的压缩提供理论依据;其次,通过充分利用码流传输的时空特性,提出一种边缘智能赋能下的多模态异构码流传输策略,以满足超低时延、超高可靠、大容量的传输需求;随后,通过不同模态间语义层面的融合及共享,探索智能、完备的跨模态信息重建机制以提升用户的沉浸感体验;最后,指出跨模态通信仍然存在的挑战以及展望其未来发展方向。

关键词：跨模态通信触觉编码码流传输信息重建

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

面向跨模态通信的信息恢复方法关键技术研究

面向跨模态通信的信息恢复方法关键技术研究

作者：徐建博南京邮电大学

学位级别：硕士

随着云计算、物联网、多媒体技术的飞速发展,人们在音频、视频等传统多媒体业务方面获得满足的同时,开始追求触觉感官体验。融合音频、视频和触觉信息的多模态业务已被广泛认为是超五代移动通信系统时代（B5G）的杀手级应用之一,为此,... 详细信息

随着云计算、物联网、多媒体技术的飞速发展,人们在音频、视频等传统多媒体业务方面获得满足的同时,开始追求触觉感官体验。融合音频、视频和触觉信息的多模态业务已被广泛认为是超五代移动通信系统时代（B5G）的杀手级应用之一,为此,跨模态通信技术应运而生。但是,在跨模态通信过程中,会存在诸多难题。第一,多模态数据在通信及传输过程中,可能会遇到无线信道噪声污染、数据丢失等问题,从而严重影响跨模态通信质量;第二,与传统的在无线信道中直接传输图像而不是特征的传输方案不同,在跨模态通信过程中可能会遇到因无线信道带宽有限,从而限制传输高度压缩图像的问题;第三,多模态数据在传输过程中可能会遇到数据隐私泄露导致的信息安全问题,进而使得跨模态通信的安全性受到威胁。基于此,在本文中研究了面向跨模态通信的信息恢复方法关键技术,论文的研究工作主要体现在以下三个方面:第一,本文研究了面向跨模态通信的基于无线边缘端的信息恢复方法。首先,提出了一种基于无线边缘端的面向信息恢复的跨模态通信系统框架,将在发送端采集到的音频、视频、触觉数据进行图像化预处理,并在伴有无线噪声的信道中进行传输,利用在接收端边缘节点处已有数据库中检索到的数据实现信息恢复。然后,设计了一种针对音频、视频、触觉流的跨模态检索方法,将不同模态的异构语义进行语义关联,并采用检索的方式实现信息恢复。最后,在公开的材质表面多模态数据集和实际跨模态通信平台采集的数据上进行实验,实验结果表明,该方法相对于传统机器学习和深度学习方法的信息恢复效果较好。第二,本文研究了面向跨模态通信的基于联合信源信道编码的信息恢复方法。首先,提出了一种基于联合信源信道编码的面向信息恢复的跨模态通信系统框架,将在发送端采集到的音频、视频、触觉数据进行图像化预处理后编码传输,经过信道后再进行解码,利用接收端边缘节点处已有数据库中检索到的数据实现信息恢复。然后,设计了一种针对音频、视频、触觉流的联合信源信道编码的跨模态检索方法,将不同模态的异构语义进行语义关联,并采用检索的方式实现信息恢复。最后,在公开的材质表面多模态数据集和实际跨模态通信平台采集的数据上进行实验,实验结果表明,该方法相对于基于无线边缘端方法的信息恢复效果较好。第三,本文研究了面向跨模态通信的基于超混沌伪随机序列的加密域信息恢复方法。首先,提出了一种加密域下的面向信息恢复的跨模态通信系统框架,将在发送端采集到的音频、视频、触觉数据进行图像化预处理后加密处理,将密文信息在信道中传输,利用接收端边缘节点处已有数据库中检索到的密文数据,并在接收端边缘节点处进行解密,实现信息恢复。然后,设计了具体的加密、解密过程以及加密域下的跨模态检索方法,在不同模态密文数据的异构语义之间建立语义关联,并采用检索的方式实现信息恢复。最后,在对公开的材质表面多模态数据集和实际跨模态通信平台采集的数据加密后的密文数据上进行实验,实验结果表明,该方法相对于传统的超混沌伪随机序列图像加密方法的信息恢复效果较好。

关键词：跨模态通信信息恢复深度学习混沌映射图像加密

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向跨模态通信的触觉信号重建关键技术研究

面向跨模态通信的触觉信号重建关键技术研究

作者：石莹莹南京邮电大学

学位级别：硕士

随着通信与信息技术的发展以及人们对于体验要求的提升,以音频、视频和触觉信号集成为特征的新兴多模态服务将成为5G和后5G时代的杀手级应用。为了支持多模态服务,跨模态通信应运而生。然而,将跨模态通信应用于触觉为主的多模态服务时,... 详细信息

随着通信与信息技术的发展以及人们对于体验要求的提升,以音频、视频和触觉信号集成为特征的新兴多模态服务将成为5G和后5G时代的杀手级应用。为了支持多模态服务,跨模态通信应运而生。然而,将跨模态通信应用于触觉为主的多模态服务时,仍然面临一些技术挑战。一方面,触觉信号对干扰非常敏感,在传输过程中容易损坏甚至丢失。另一方面,当真实的触觉信息难以收集时,需要生成虚拟触觉信号。为了克服这一困境,本文提出了一种适用于跨模态通信的触觉信号重建策略。论文的主要研究内容以及创新点如下:首先,针对不同模态流的特点以及传输需求,本文为触觉为主的多模态服务构建了一种基于云边协同的跨模态通信架构。该架构在保留现有视听为主的多媒体体系结构的同时,使用设备到设备（D2D）技术在终端之间直接传输触觉流。其中,对于承担触觉流传输任务的D2D链路,通过让其复用蜂窝网络资源来提升资源利用率。此外,该架构支持在接收端进行触觉信号重建。实验结果表明,与其他多模态传输方案相比,所提方案下的模态流传输质量更佳。接着,针对通信中因传输干扰引起的触觉信号损坏、丢失问题,本文深入挖掘不同模态之间的潜在相关性,设计了一种视听辅助的触觉信号重建（AVHR）方法。它可以进一步分为三个部分:基于云边迁移的特征提取、基于多模态融合的共享语义学习和基于语义约束的触觉信号生成。公开的多模态数据集和真实的跨模态通信平台上的实验结果表明,与竞争方案相比,本文的AVHR方法具有更好的重建性能。最后,针对现有多模态数据集中存在的弱监督和弱配对问题,本文提出了一种细粒度的视听辅助触觉信号重建（FG-AVHR）方法。首先,针对弱监督问题,提出了一种基于跨模态迁移的深度聚类算法用于学习样本的细粒度分类;接着,针对弱配对问题,提出了基于三元组约束的共享语义学习,为触觉信号的重建奠定基础;最终,基于聚类语义约束进行触觉信号生成,实现细粒度的触觉信号重建。实验结果表明,FG-AVHR算法进一步提升了重建触觉信号的质量。

关键词：跨模态通信云边协同 D2D 触觉信号重建细粒度

自适应跨模态图像—触觉信号重建关键技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

自适应跨模态图像—触觉信号重建关键技术研究

作者：史贤玥南京邮电大学

学位级别：硕士

随着移动通信网络和各类智能传感器的飞速发展,人们对沉浸式交互体验的需求日益增长。触觉作为重要感知模态,是提升用户整体沉浸感、流畅感、参与感的关键。然而,传统的音视频传输方案无法应对突变的触觉信号和其超高的低延迟要求。因此... 详细信息

随着移动通信网络和各类智能传感器的飞速发展,人们对沉浸式交互体验的需求日益增长。触觉作为重要感知模态,是提升用户整体沉浸感、流畅感、参与感的关键。然而,传统的音视频传输方案无法应对突变的触觉信号和其超高的低延迟要求。因此,如何设计一个通用的多模态传输方案,能自适应传输过程中环境、信号的实时变化,实现对数据流的实时控制以适应各种远程操作场景是亟待解决的问题。此外,参考多模态深度学习领域研究成果,将多模态人工智能的技术融入多模态通信中,则可以在某些场景下达到传统通信领域技术难以达到的效果。基于此,本文提出了自适应的跨模态通信框架,并在框架中设计两种自适应跨模态图像—触觉信号重建方法,最后通过大量实验证明所提方法的有效性。主要包含以下三个内容:（1）完成了自适应跨模态通信框架的设计与实现。基于触觉数据量和通信网络属性两方面,根据当前通信环境自对传输方式进行自适应调整。其中包括提出跨模态压缩方案,在不损伤数据质量的情况下,利用互补模态进一步压缩数据量;其次,根据应用场景和通信网络属性,自适应调整传输优先级;最后利用第四章和第五章中提出的信号重建模型,在接收端进行跨模态信号恢复。此外,在自己搭建的远程通信场景中验证了传输框架的有效性。（2）提出了基于自编码器的自适应跨模态图像—触觉信号重建算法,可为新型多模态应用保证传输服务。在模型中,针对稀疏数据对对模型泛化的限制,从未配对的视觉和触觉领域迁移有效知识到配对模态领域。同时,挖掘不同模态的互补性和关联性实现跨模态语义一致性。其中,我们联合域对齐和特征区分学习来弥补模态间数据的高度异构,类别区分的共享语义特征可以为领域对齐提供良好的执行环境。最后,在LMT数据集和我们自己构建的跨模态数据集上,评估了提出的跨模态重建模型的有效性。同时也结合第三章提出的通信框架,验证了最后的通信体验质量。不难看出,深度学习模型与通信框架的融合可以很大程度解决传统方法面临的挑战。（3）提出了基于CGAN的自适应跨模态图像—触觉信号重建算法,可为新型多模态应用提供高质量传输服务。提出的框架包含两个模块:特征提取模块和信号生成模块。在特征提取模块中,利用基于实例权重的迁移增强方法,有效抑制负迁移的发生,进而提取有益特征。在信号生成模块中,利用两个独立的条件生成网络,将提取的特征与随机信号连接输入生成器,从而实现跨模态互生。从结果对比来看,本章提出模型的输出信号在质量上较第四章有明显提升,但在数据类别对应上不如第四章提出的模型,这也是生成对抗模型的不稳定所造成的。此外,还在实验中显式地展示了实例权重在迁移中起到的效果。

关键词：跨模态通信跨模态重建迁移学习自编码器 CGAN