检索结果-南通市图书馆

基于扩张卷积和Transformer的视听融合语音分离方法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

信号处理 2024年第7期 1208-1217页

作者：刘宏清谢奇洲赵宇周翊重庆邮电大学通信与信息工程学院

为了提高语音分离的效果，除了利用混合的语音信号，还可以借助视觉信号作为辅助信息。这种融合了视觉与音频信号的多模态建模方式，已被证实可以有效地提高语音分离的性能，为语音分离任务提供了新的可能性。为了更好地捕捉视觉与音频... 详细信息

为了提高语音分离的效果，除了利用混合的语音信号，还可以借助视觉信号作为辅助信息。这种融合了视觉与音频信号的多模态建模方式，已被证实可以有效地提高语音分离的性能，为语音分离任务提供了新的可能性。为了更好地捕捉视觉与音频特征中的长期依赖关系，并强化网络对输入上下文信息的理解，本文提出了一种基于一维扩张卷积与Transformer的时域视听融合语音分离模型。将基于频域的传统视听融合语音分离方法应用到时域中，避免了时频变换带来的信息损失和相位重构问题。所提网络架构包含四个模块：一个视觉特征提取网络，用于从视频帧中提取唇部嵌入特征；一个音频编码器，用于将混合语音转换为特征表示；一个多模态分离网络，主要由音频子网络、视频子网络，以及Transformer网络组成，用于利用视觉和音频特征进行语音分离；以及一个音频解码器，用于将分离后的特征还原为干净的语音。本文使用LRS2数据集生成的包含两个说话者混合语音的数据集。实验结果表明，所提出的网络在尺度不变信噪比改进（Scale-Invariant Signal-to-Noise Ratio Improvement,SISNRi）与信号失真比改进（Signal-to-Distortion Ratio Improvement,SDRi）这两种指标上分别达到14.0 dB与14.3 dB，较纯音频分离模型和普适的视听融合分离模型有明显的性能提升。

关键词：语音分离视听融合多头自注意力机制扩张卷积

“视听融合”：图谱在小学音乐教学中的运用与实践

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

小学生(上旬刊) 2024年第5期 88-90页

作者：赵莎莎甘肃省临夏回族自治州积石山县双语小学

图谱是一种可视化教学工具，在音乐教学中被广泛运用，其具象化特征有助于营造出视听俱佳的教学环境。图谱通过直观的形式呈现音乐知识，能增强学生的音乐感知能力，帮助学生快速理解音乐作品并激发其创新创造潜能。因此，教师要重视图... 详细信息

图谱是一种可视化教学工具，在音乐教学中被广泛运用，其具象化特征有助于营造出视听俱佳的教学环境。图谱通过直观的形式呈现音乐知识，能增强学生的音乐感知能力，帮助学生快速理解音乐作品并激发其创新创造潜能。因此，教师要重视图谱与音乐教学的融合，为音乐课堂注入具象元素，充分发挥图谱的教学作用。教师可将图谱运用到节奏训练、歌曲演唱、音乐欣赏、声势律动以及音乐游戏等不同的方面，利用不同类型的图谱实现视听融合教学，高效开展音乐教学活动。

关键词：小学音乐教学图谱视听融合

基于DCNN和BiLSTM的单通道视听融合语音分离方法研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

电子学报 2023年第4期51卷 914-921页

作者：兰朝凤王顺博郭小霞韩玉兰康守强哈尔滨理工大学测控技术与通信工程学院黑龙江哈尔滨150080

近年来,随着语音处理及计算机技术的飞速发展,人机语音交互的重要性日益突出.其中,语音分离是将目标语音从混合语音中分离出来的一项重要任务.然而,在著名的“鸡尾酒会”等复杂开放环境下语音的分离远没有达到令人满意的效果.针对现实... 详细信息

近年来,随着语音处理及计算机技术的飞速发展,人机语音交互的重要性日益突出.其中,语音分离是将目标语音从混合语音中分离出来的一项重要任务.然而,在著名的“鸡尾酒会”等复杂开放环境下语音的分离远没有达到令人满意的效果.针对现实生活中多说话人交流场景,本文以空洞卷积(Dilated Convolutions Neural Network,DCNN)和双向长短时记忆(Bi-directional Long Short-Term Memory,BiLSTM)为网络基础,提出一种视听融合的语音分离(DCNN-BiLSTM)模型.该模型在训练过程中通过音频编号查找与之对应的视觉信息,视觉信息可以将音频聚焦在说话场景中该说话人上,以达到增强语音分离效果.在AVSpeech数据集上进行实验测试,利用PESQ(Perceptual Eval-uation of Speech Quality)、STOI(Short-Time Objective Intelligibility)和SDR(Signal-to-Distortion Ratio)指标评价分离效果.研究表明,本文方法比经典的AVSpeech分离方法在语音分离能力上提高了3.37 dB.

关键词：视听融合空洞卷积双向长短时记忆网络单通道语音分离

在线全文

学校读者我要写书评

暂无评论

基于视听融合的宽频带振动频谱提取

Transactions of Nanjing University of Aeronautics and Astronautics 2023年第3期40卷 323-335页

作者：程遥于若颜彭聪南京航空航天大学自动化学院南京211106

提取振动频谱对于旋转机械的故障诊断至关重要。环境和噪声的多样化限制了传统单模态振动提取方法的性能。由于视听信号具有不同的采样频率、噪声和环境限制,视听融合算法可以有效解决单一模态存在的问题。基于此,文中提出了一种基于视... 详细信息

提取振动频谱对于旋转机械的故障诊断至关重要。环境和噪声的多样化限制了传统单模态振动提取方法的性能。由于视听信号具有不同的采样频率、噪声和环境限制,视听融合算法可以有效解决单一模态存在的问题。基于此,文中提出了一种基于视听融合深度卷积神经网络的宽带频谱提取方法,该方法充分融合了不同模态的有效信息。该模型基于双流编码器从不同的模态中提取特征,使用深度残差融合模块提取高级融合特征并输出给解码器。实验结果表明,该模型的表现优于最新的振动提取方法,如RegNet,MFCNN及L2L等,噪声环境下的振动频谱提取准确率提高15%。

关键词：振动频谱提取视听融合卷积神经网络故障诊断深度学习

基于双路径递归网络与Conv-TasNet的多头注意力机制视听语音分离

在线全文

学校读者我要写书评

暂无评论

电子与信息学报 2024年第3期46卷 1005-1012页

作者：兰朝凤蒋朋威陈欢赵世龙郭小霞韩玉兰韩闯哈尔滨理工大学测控技术与通信工程学院哈尔滨150080 哈尔滨工大卫星技术有限公司哈尔滨150023 中国舰船研究设计中心武汉430064

目前的视听语音分离模型基本是将视频特征和音频特征进行简单拼接,没有充分考虑各个模态的相互关系,导致视觉信息未被充分利用,分离效果不理想。该文充分考虑视觉特征、音频特征之间的相互联系,采用多头注意力机制,结合卷积时域分离模型... 详细信息

目前的视听语音分离模型基本是将视频特征和音频特征进行简单拼接,没有充分考虑各个模态的相互关系,导致视觉信息未被充分利用,分离效果不理想。该文充分考虑视觉特征、音频特征之间的相互联系,采用多头注意力机制,结合卷积时域分离模型(Conv-TasNet)和双路径递归神经网络(DPRNN),提出多头注意力机制时域视听语音分离(MHATD-AVSS)模型。通过音频编码器与视觉编码器获得音频特征与视频的唇部特征,并采用多头注意力机制将音频特征与视觉特征进行跨模态融合,得到融合视听特征,将其经DPRNN分离网络,获得不同说话者的分离语音。利用客观语音质量评估(PESQ)、短时客观可懂度(STOI)及信噪比(SNR)评价指标,在VoxCeleb2数据集进行实验测试。研究表明,当分离两位、3位或4位说话者的混合语音时,该文方法与传统分离网络相比,SDR提高量均在1.87 dB以上,最高可达2.29 dB。由此可见,该文方法能考虑音频信号的相位信息,更好地利用视觉信息与音频信息的相关性,提取更为准确的音视频特性,获得更好的分离效果。

关键词：语音分离视听融合跨模态注意力双路径递归网络 Conv-TasNet

基于扩张卷积和Transformer的视听融合语音分离方法

在线全文

学校读者我要写书评

暂无评论

信号处理 2023年

作者：刘宏清谢奇洲赵宇周翊重庆邮电大学通信与信息工程学院

为了提高语音分离的效果，除了利用混合的语音信号，还可以借助视觉信号作为辅助信息。这种融合了视觉与音频信号的多模态建模方式，已被证实可以有效地提高语音分离的性能，为语音分离任务提供了新的可能性。为了更好地捕捉视觉与音频特征中的长期依赖关系，并强化网络对输入上下文信息的理解，本文提出了一种基于一维扩张卷积与Transformer的时域视听融合语音分离模型。将基于频域的传统视听融合语音分离方法应用到时域中，避免了时频变换带来的信息损失和相位重构问题。所提网络架构包含四个模块：一个视觉特征提取网络，用于从视频帧中提取唇部嵌入特征；一个音频编码器，用于将混合语音转换为特征表示；一个多模态分离网络，主要由音频子网络、视频子网络，以及Transformer网络组成，用于利用视觉和音频特征进行语音分离；以及一个音频解码器，用于将分离后的特征还原为干净的语音。本文使用LRS2数据集生成的包含两个说话者混合语音的数据集。实验结果表明，所提出的网络在尺度不变信噪比改进(SI-SNRi)与信噪比改进(SDRi)这两种指标上分别达到14.0 dB与14.3 dB，较纯音频分离模型和普适的视听融合分离模型有明显的性能提升。

关键词：语音分离视听融合多头自注意力机制扩张卷积

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于视听融合的两阶段钢琴转录方法研究

基于视听融合的两阶段钢琴转录方法研究

作者：王先科华中科技大学

学位级别：硕士

自动音乐转录(Automatic Music Transcription,AMT)是音乐信息检索领域非常重要的问题,其目的是从采集的视觉信号或音频信号中获得符号化的音乐表示,在音乐教育、音乐信息检索、音乐创作和音乐分析等领域有着普遍的用途。钢琴音乐转录作... 详细信息

自动音乐转录(Automatic Music Transcription,AMT)是音乐信息检索领域非常重要的问题,其目的是从采集的视觉信号或音频信号中获得符号化的音乐表示,在音乐教育、音乐信息检索、音乐创作和音乐分析等领域有着普遍的用途。钢琴音乐转录作为AMT的经典研究问题,以基于视觉、音频的单模态转录方法为主。随着多模态技术的发展,视听融合转录逐渐成为一个新兴的研究方向。本文提出了一种基于视听融合的两阶段钢琴转录方法,利用视觉信息和音频信息来完成转录任务。第一阶段,利用具有较好的转录性能的单模态模型抽取视觉特征和音频特征;第二阶段,将视觉特征和音频特征用于多种视听融合模型。具体来说,本文主要工作包含:(1)针对视听融合领域数据集缺乏的问题,录制并开源了OMAPS2(Ordinary MIDI Aligned Piano Sounds v2)数据集,奠定了本文视听融合转录研究的基础;(2)提出了基于视觉和基于音频的两种单模态转录模型。视觉转录部分,在基于卷积的模型中引入并行的Transformer分支,让模型感知到全局视野,在OMAPS2数据集和MIDI test数据集上F1值分别达到92.35%和75.13%,优于其他视觉转录模型;音频转录部分,首次提出了基于频域稀疏注意力的模型,在OMAPS2数据集上F1值为94.11%,优于其他音频转录模型,在MAESTROv1数据集上F1值为95.20%,和目前表现最好的音频转录模型效果接近;(3)研究了基于特征拼接、基于低秩多模态融合(Low-rank Multimodal Fusion,LMF)和基于交叉注意力的视听融合方案,减少了单模态模型的错误。最终基于LMF的视听融合模型效果最优,在OMAPS2数据集上F1值为97.80%,优于单模态模型和以往的视听融合转录模型。综上,本文提出了两阶段视听融合转录方法,在视觉转录模型中引入并行的Transformer分支,在音频转录模型中首次使用频域稀疏注意力,分别提升了视觉单模态和音频单模态模型性能。在视听融合转录模型中,利用视觉信息和音频信息的互补性,取得了优于其他视听融合模型的转录精度。

关键词：音乐信息处理自动音乐转录钢琴音乐转录视听融合

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于视听融合注意力的视听事件定位

基于视听融合注意力的视听事件定位

作者：郭龙银四川大学

学位级别：硕士

视觉和听觉作为人类两大感知信息的方式,在日常生活中协同作用,为感知系统提供超过80%的信息。在机器感知研究中,视听双模态的协作学习具有很高的研究价值。随着信息时代的发展,视频资源的增加为视听双模态研究提供了大量的基础数据,从... 详细信息

视觉和听觉作为人类两大感知信息的方式,在日常生活中协同作用,为感知系统提供超过80%的信息。在机器感知研究中,视听双模态的协作学习具有很高的研究价值。随着信息时代的发展,视频资源的增加为视听双模态研究提供了大量的基础数据,从而推动了视听事件定位的研究。视听事件定位通过探索视听双模态信息的一致性,构建出能够让机器感知视听事件的存在并辨别其类别的模型,以服务于畜牧业监控、视频推荐与管理、视听标注等多个领域。然而,视听数据存在着严重的异质语义鸿沟和数据结构差异,这会带来多种严峻挑战,如:1)双模态转化的语义信息保留问题;2)双模态特征对齐问题;3)视听模态协同融合问题。此外,在海量视频数据增长的当下,数据标注的代价也呈几何式增长,这成为了视听事件定位不得不面对的问题。因此,基于数据标注条件,视听事件定位被划分为三个子任务:视听跨模态定位、弱监督下的视听事件定位和强监督下的视听事件定位。本文针对这三个子任务展开研究,主要完成了以下工作:(1)针对跨模态定位任务,本文提出一种交互匹配网络,该网络利用前馈神经网络和求和平均的方式解决视听特征维度不一致问题。在交互匹配模块前采用双向长短时记忆网络编码时序信息,在交互匹配模块中,网络提出跨相关和自相关权重矩阵,利用两种相关权重来放大事件片段的视听特征,并利用阈值裁剪的方式来降低背景片段干扰,从而更好地解决时序匹配问题。最后在对比损失函数上,为防止过拟合,对双模态相似特征也设置类内距离。经过实验证明,该网络在跨模态定位的两个子任务上都比现有方法具有更好的跨模态定位效果。(2)针对弱监督的定位任务,本文借鉴多实例学习的思想,提出一种基于多实例的弱监督视听事件定位网络。首先,针对视觉特征维度高的问题,该网络采用视觉注意力模块对视觉空间特征降维,该模块通过空间注意力和通道注意力组合提取视觉有效信息,随后是视听融合模块,该模块引入transformer的编解码结构并构建一条基于多实例池化的隐式事件特征传导链,用于传递事件类别信息。实验证明该网络能够有效减小标注缺失的影响,提高定位效果。(3)针对强监督的定位任务,本文提出一种基于长时相关的视听事件定位网络,从时序角度出发,着重关注长时序下视听双模态的一致信息。在该定位网络中,本文设计的时空引导注意力机制不仅降维了视觉特征还保留了事件持续变化的区域,在双模态融合上,本文设计正向时序残差融合模块来保留视听双模态的一致性特征。实验结果表明,该网络在强监督任务上可以达到78.3%的准确率。

关键词：视听事件定位视听融合多实例学习跨模态匹配

“视听融合”:图谱在小学音乐教学中运用探究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

新教育（海南） 2023年第8期 84-86页

作者：朱旖南京师范大学吴江实验小学

音乐是一门听觉艺术,无形且抽象。音乐图谱作为一种有效的教学辅助手段,它能化抽象为具体,变无形为有形,恰当地运用学生视觉参与,通过视觉与听觉配合,带着学生感受和体验音乐的意向、旋律的走向、乐曲的段落变化等,从而使学生更好地理... 详细信息

音乐是一门听觉艺术,无形且抽象。音乐图谱作为一种有效的教学辅助手段,它能化抽象为具体,变无形为有形,恰当地运用学生视觉参与,通过视觉与听觉配合,带着学生感受和体验音乐的意向、旋律的走向、乐曲的段落变化等,从而使学生更好地理解和掌握乐曲的节奏变化和情感起伏等,提升音乐课的教学实效。如何科学、适宜地使用图谱,笔者通过图谱在教学中的重要作用、分类与应用以及运用过后的反思与改进提出具体的实施建议,以促进素养培养为核心的音乐课堂教学的探究与发展。

关键词：小学音乐视听融合图谱教学