检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于频谱位移模块的环境声音识别方法

电子测量技术 2022年第5期45卷 62-67页

作者：李传坤郭锦铭李剑孙袖山中北大学信息与通信工程学院太原030051 中北大学省部共建动态测试技术国家重点实验室太原030051 中北大学无损检测技术中心太原030051

针对卷积操作只能提取局部频谱信息,不能有效地挖掘频谱之间相关信息的问题,提出了一种基于频谱位移模块的神经网络。该网络采用密集卷积神经网络的架构,并在支路上使用频谱位移模块实现频谱信息之间的交互。利用这种频谱移位取代了频... 详细信息

针对卷积操作只能提取局部频谱信息,不能有效地挖掘频谱之间相关信息的问题,提出了一种基于频谱位移模块的神经网络。该网络采用密集卷积神经网络的架构,并在支路上使用频谱位移模块实现频谱信息之间的交互。利用这种频谱移位取代了频谱间的下采样操作,实现了频谱的全局化特征提取,同时避免了下采样过程中信息的丢失,进一步地提高了频谱特征图质量。并在公开的数据集ESC10和ESC50上验证频谱位移密集模块,在两种数据集的分类准确度分别达到了96.00%和88.75%,与原有的网络相比准确度分别提升了2.1%和2.25%。实验结果表明,和现有的其他卷积神经网络方法相比,所提出的网络能够更好有效地挖掘全局时频信息,具有更高的识别准确率。

关键词：环境声音识别卷积神经网络频谱位移密集神经网络深度学习

在线全文

学校读者我要写书评

暂无评论

基于正弦注意力表征网络的环境声音识别

应用科学学报 2021年第4期39卷 641-649页

作者：彭宁陈爱斌周国雄陈文洁刘晶中南林业科技大学人工智能应用研究所湖南长沙410004 中南林业科技大学智慧物流技术湖南省重点实验室湖南长沙410004 中南林业科技大学计算机与信息工程学院湖南长沙410004

将正弦注意力表征网络引入环境声音识别,首先提取梅尔频率倒谱系数(Melfrequency cepstral coefficient,MFCC)作为音频识别特征,使用门控循环单元提取MFCC每一帧的特征,根据正弦函数激活每一帧音频得分,并依照每一帧的音频得分为音频重... 详细信息

将正弦注意力表征网络引入环境声音识别,首先提取梅尔频率倒谱系数(Melfrequency cepstral coefficient,MFCC)作为音频识别特征,使用门控循环单元提取MFCC每一帧的特征,根据正弦函数激活每一帧音频得分,并依照每一帧的音频得分为音频重新分配权重,从而将注意力集中在音频重点区域。最后结合全连接层和Softmax分类器对环境声音类别进行判别。实验在公开数据集Urban Sound 8K上验证并与其他模型对比,结果表明所提出模型效果最好,在数据集上的识别率高达93.5%。

关键词：环境声音识别注意力机制梅尔频率倒谱系数门控循环单元正弦注意力表征网络

在线全文

学校读者我要写书评

暂无评论

基于深度学习的复杂环境声音识别研究

基于深度学习的复杂环境声音识别研究

作者：夏蒸富重庆交通大学

学位级别：硕士

除视觉系统之外,听觉系统作为人类用于感知环境的最重要途径之一,用于接收外界声音信号,经过大脑处理后获得蕴藏于其中的信息。人类生活中存在的声音种类可大致划分为三大类:语音,音乐以及环境声音。其中,环境声音所包含的信息范围较广... 详细信息

除视觉系统之外,听觉系统作为人类用于感知环境的最重要途径之一,用于接收外界声音信号,经过大脑处理后获得蕴藏于其中的信息。人类生活中存在的声音种类可大致划分为三大类:语音,音乐以及环境声音。其中,环境声音所包含的信息范围较广:既可能包含某种特定场景的信息,例如描述下雨天的下雨声;也可能包含某种行为发生时伴随的声响,例如射击时发出的枪击声。因此,充分挖掘环境声音所蕴藏的信息,并有效地对其进行利用,这对监测生态环境、维护公共场所安全以及帮助听力障碍人群感知外界环境等方面均具有重要意义。目前,随着大数据时代的来临以及人工智能相关软硬件设施设备的完善发展,采用深度学习方法解决环境声音识别领域问题,逐渐受到研究学者们的青睐。然而,环境声音识别问题还存在许多方面有待解决优化。第一,即使是非噪声条件下的环境声音,并不像语音和音乐那样具有大量结构化特征,而是具有大量非稳态、非结构化特征,具有类内差异大、类间差异小的特点,即属于同一类别的环境声音音频,其时域、频域以及时频域特征也可能存在较大差异,这对环境声音识别带来较大困难;第二,大部分现有研究成果所用环境声音音频数据较纯净,噪声强度较弱,因此这些方法基本能够获得较好的环境声音识别效果,但是噪声条件下环境声音识别研究相对较少,该研究方向还有很多值得研究探讨的问题;第三,除了科技公司之外,能够对环境声音识别研究者们提供实际应用的系统还相对较少,大多数研究还是倾向于计算机理论仿真与验证。综上所述,本文主要围绕以下三个方面展开研究:(1)在非噪声条件下,针对环境声音时频域特征复杂多变,导致难以准确地提取重点显著特征的问题,研究基于改进精简双线性网络的环境声音识别方法。在保持精简双线性网络架构不变的情况下,通过将密集连接网络用于特征提取、更换降维映射函数、引入能够从水平和竖直方向进行联合加权增强重点显著特征的协同注意力模块,搭建了改进精简双线性网络的环境声音识别模型。环境声音识别公开数据集以及实际采集音频数据集上的测试证明了所提方法的有效性。此外,通过对模型决策中起主要作用的区域进行可视化,直观地展示协同注意力模块的效果。(2)在噪声条件下,针对环境声音受噪声干扰,导致识别效果较差的问题,研究基于逐通道阈值残差收缩模块以及双向长短时记忆模块结合网络的环境声音识别方法。对环境声音识别公开数据集进行加噪声处理,获得8种信噪比不同的带噪声数据集。主要研究了两个方面的内容:不同程度噪声对环境声音识别数据集的特征分布影响以及对模型识别性能影响。结果表明,在对数据集的特征分布影响方面,适当程度的噪声能够使得数据集的特征分布变得相对松散,增强可分离性;在对模型识别性能影响方面,随着噪声强度的逐渐提升,模型识别性能的总体趋势表现为降低,但中途存在起伏现象。(3)设计并且实现了一个环境声音识别系统。采用Vue框架搭建前端,My SQL数据库进行数据管理,Python、Tensorflow以及使用Python编程语言开发的免费开源Web框架Django作为后端,搭建了环境声音识别系统。该系统具有用户注册与登录、音频特征可视化、训练与优化模型、模式切换以及识别结果展示这五个功能。该系统操作简单易用,为环境声音识别模型进行实际应用提供了参考。

关键词：环境声音识别深度学习注意力机制非噪声条件与噪声条件环境声音识别系统设计与实现

美尔谱系数与卷积神经网络相组合的环境声音识别方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

信号处理 2020年第6期36卷 1020-1028页

作者：刘亚荣黄昕哲谢晓兰刘鑫桂林理工大学广西嵌入式技术与智能系统重点实验室广西桂林541004 桂林理工大学信息科学与工程学院广西桂林541004

通过对复杂环境下声音识别技术进行研究,本文提出了美尔谱系数(MFSC)与卷积神经网络(CNN)相组合的环境声音识别方法。对声音事件提取其MFSC特征,将特征参数作为输入送入设计好的CNN模型中对声音事件进行分类。实验数据集采用ESC-10,将... 详细信息

通过对复杂环境下声音识别技术进行研究,本文提出了美尔谱系数(MFSC)与卷积神经网络(CNN)相组合的环境声音识别方法。对声音事件提取其MFSC特征,将特征参数作为输入送入设计好的CNN模型中对声音事件进行分类。实验数据集采用ESC-10,将构建的卷积神经网络模型与随机森林、支持向量机(SVM)、深度神经网络(DNN)及DCASE比赛中常用的三种识别模型进行对比实验。实验结果表明,在相同数据集下,本文所设计的美尔谱系数与卷积神经网络相组合的环境声音识别方法相较传统的声音识别方法在识别率上分别有13.1%,18.3%,15.7%的提升,相较于DCASE比赛中的三种常用识别模型,本文所设计识别模型识别率及识别效率均有明显的优势。

关键词：卷积神经网络美尔谱系数环境声音识别

在线全文

学校读者我要写书评

暂无评论

基于轻量级深度神经网络的环境声音识别

计算机应用 2020年第11期40卷 3172-3177页

作者：杨磊赵红东河北工业大学电子信息工程学院天津300300

针对传统卷积神经网络(CNN)模型存在大量冗余参数的问题,提出了两个基于SqueezeNet核心结构Fire模块的轻量级网络模型Fnet1和Fnet2。之后结合移动端分布式数据采集和处理的特点,在Fnet2模型基础上,依据Dempster-Shafer(D-S)证据理论将Fn... 详细信息

针对传统卷积神经网络(CNN)模型存在大量冗余参数的问题,提出了两个基于SqueezeNet核心结构Fire模块的轻量级网络模型Fnet1和Fnet2。之后结合移动端分布式数据采集和处理的特点,在Fnet2模型基础上,依据Dempster-Shafer(D-S)证据理论将Fnet2与深度神经网络(DNN)融合,提出新的网络模型FnetDNN。首先,建立一个具有四层卷积层的神经网络Cent作为基准,以梅尔倒谱系数(MFCC)作为特征输入来对比分析Fnet1、Fnet2和Cent的网络结构特点、计算量、卷积核参数数量及识别准确率,结论是Fnet1仅使用Cnet参数数量的10.3%就可达到86.7%的分类准确率;然后,将MFCC与全局特征向量输入到FnetDNN模型中,使得该模型的识别准确率提高到了94.4%。实验结果表明,Fnet网络模型不仅可以压缩冗余参数,还可以与其他网络相融合,具备模型扩展能力。

关键词：环境声音识别深度神经网络 D-S证据理论梅尔倒谱系数

基于改进卷积神经网络与动态衰减学习率的环境声音识别算法

在线全文

学校读者我要写书评

暂无评论

科学技术与工程 2019年第1期19卷 177-182页

作者：冯陈定李少波姚勇杨静贵州大学机械工程学院贵州省公共大数据重点实验室贵阳550025

环境声音识别在音频检索、监控方面有着广泛的应用,是听觉识别任务中的一个热门研究领域。但由于声音信号的复杂多变,使得该任务在识别率提升方面依然面临许多挑战。针对这一问题提出了基于改进卷积神经网络的环境识别模型(S-CNN),该模... 详细信息

环境声音识别在音频检索、监控方面有着广泛的应用,是听觉识别任务中的一个热门研究领域。但由于声音信号的复杂多变,使得该任务在识别率提升方面依然面临许多挑战。针对这一问题提出了基于改进卷积神经网络的环境识别模型(S-CNN),该模型采用反复堆叠的递减型卷积核提取不同尺度的局部特征,并在每层卷积层后采用batch normalization(BN)层对特征进行归一化操作。同时,利用动态衰减的学习率训练模型,以提高模型收敛速度与收敛稳定性。实验结果表明,相比于传统的机器学习与卷积神经网络模型,本文所设计的改进卷积神经网络模型S-CNN具有更好的识别率。在ESC-10环境声音数据库上,识别精度达到91. 3%。

关键词：环境声音识别特征提取卷积神经网络深度学习

在线全文

学校读者我要写书评

暂无评论

基于神经网络的环境声音识别算法研究

基于神经网络的环境声音识别算法研究

作者：王亚文电子科技大学

学位级别：硕士

环境声音识别(Environment sound recognition)是指让计算机设备以一定的算法方式对采集到的环境声音进行分类与处理的过程,其在智能机器人、移动设备监测、自动驾驶、环境安全监控、智能家居、智慧城市等领域都有广泛的应用前景,是计... 详细信息

环境声音识别(Environment sound recognition)是指让计算机设备以一定的算法方式对采集到的环境声音进行分类与处理的过程,其在智能机器人、移动设备监测、自动驾驶、环境安全监控、智能家居、智慧城市等领域都有广泛的应用前景,是计算机听觉(Computer Audition)领域重要的研究方向之一。环境声音分类和增强是声音识别领域重要的研究内容。随着人工智能技术的不断发展,神经网络逐渐成为了该领域的重要研究方法。与传统的机器学习方法相比,神经网络方法具有算法模型简单、泛化效果好、鲁棒性强、可迁移性强等优势。但分类算法仍存在识别精度低、对设备性能要求高的问题;增强算法也主要面向语音增强、乐器声音分离等场景,环境声音增强算法仍不成熟。围绕以上存在的问题,本文有下面的主要研究内容:首先,通过bottleneck模块改进CNN以降低网络参数量和运算量;通过引入SE注意力机制模型以提高网络精度。论文中设计了用于环境声音分类的BN-CNN、SE-CNN small 和 SE-CNN large 神经网络模型。然后,对于不同的分类结果选用不同的增强网络以进行声音增强处理。本文基于生成对抗网络(GAN)的方法进行了声音增强的算法研究,通过引入encoder-decoder的直连接结构提高生成网络的性能;通过引入噪声向量z提高了网络的鲁棒性。该网络可通过重新训练实现对其他类别环境声音增强的扩展。接下来,由于目前开源声音数据集不适合做环境声音增强,论文创建了 ESCS数据集。该数据集包含两个子数据集,分别用于声音分类(12个小类,5个大类)和声音增强(10个小类,包含带噪和不带噪版本)的算法研究,共包含14.6万条44.1KHz采样、8bit量化、8s时长的环境声音样本。同时该数据集提供原始数据可根据需要自行处理。在该数据集下,声音分类的细分类F1精度最高提升4.90%,粗分类F1精度最高提升3.46%,运算量最多降低26.08%,参数量最多降低79.05%;通过生成网络和判别网络相互对抗训练的方法,在十种不同的环境声音上FID指标最好为0.218;AMT指标最高均值为8.12,均获得了良好的环境声音增强效果。最后设计并实现了可视化的环境声音识别软件。该软件使用tkinter、librosa、pyaudio等python库,由输入模块、信号预处理模块、声音识别模块、声音增强模块、输出显示模块构成,实现了环境声音分类和声音增强的功能。

关键词：神经网络环境声音识别声音增强生成对抗网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的环境声音识别

基于深度学习的环境声音识别

作者：张智超上海大学

学位级别：硕士

在音频信息的研究中,环境声音识别是一个重要的问题,指计算机能够模拟人耳的听觉功能对一个短暂的音频信号进行分析,进而理解识别所得到的声音信号,赋予相应的类别标签。环境声音本身可以传递出很多重要的信息,对这些声音进行分析可以... 详细信息

在音频信息的研究中,环境声音识别是一个重要的问题,指计算机能够模拟人耳的听觉功能对一个短暂的音频信号进行分析,进而理解识别所得到的声音信号,赋予相应的类别标签。环境声音本身可以传递出很多重要的信息,对这些声音进行分析可以帮助人们监测环境中的状况,有助于声学的场景分析工作。目前,环境声音识别在安全监控、医疗监护、机器智能化以及人机交互等领域的应用价值尤为突出。环境声音识别任务目前存在很多挑战。一方面,不同于语音和音乐,环境声音具有复杂多变的频域特性和时域结构。就频域特性而言,声音可能是有规律音调的,在频谱上表现出明显的峰值,比如警笛声;也可能是类似噪声的,其频率分布横跨整个频谱,比如风声。就时域结构而言,声音可能是瞬时的,间断的和连续的。因此,如何针对环境声音的特点设计识别模型是一个很重要同时也是很有挑战性的问题。另一方面,环境声音开源数据集数据量非常有限,如何利用有限的数据集保证模型的泛化性能是另一个重要的问题。为了解决以上问题,本文主要从以下几个方面展开对环境声音识别的研究:首先,对基于卷积循环神经网络的环境声音识别模型进行深入研究。系统以声音的频谱图为输入特征,声音的频谱图刻画了信号的能量分布,通过卷积神经网络可以学习这种能量分布模式。另外,卷积神经网络的卷积核有能力学习到声音频谱图上的局部细节信息,更容易发现不同类型声音之间的区别;除此之外,声音信号在时间上存在着天然的联系,通过循环神经网络可以学习时间维度上不同帧之间的依赖关系,来弥补卷积神经网络在时间序列建模上的不足。卷积循环神经网络同时具备卷积神经网络和循环神经网络学习特征的能力。实验结果表明,卷积循环神经网络的识别性能优于一些典型的深度学习模型和传统分类模型。其次,对环境声音识别任务中的数据增强方法进行深入研究,并提出一种在线数据增强方案,用于环境声音识别任务。目前,公开使用的环境声音数据集数据量比较小,训练集和测试集数据分布差别较大,模型在有限的训练数据上很难获得很好的泛化性能。本文首先描述了现有的数据增强方法,并基于现有技术,提出一种在线数据增强方案。提出的增强方案在训练阶段直接对输入的声音频谱图进行处理,既保证了训练样本的多样性,又无需额外的数据和计算成本,具有很好的灵活性。提出的增强方案在几个公开数据集上的识别性能获得了较大的提升。最后,提出一种基于注意力机制的环境声音识别模型。环境声音信号复杂多变的时频特性使得模型设计具有很大的挑战性。为此,我们引入注意力机制,使网络能够自动关注语义相关的特征、丢弃不相关的信息,比如噪声信息。具体而言,针对复杂的时域结构,我们提出一种时间注意力机制,使网络对具有显著特征的时间帧给予更大的权重,对噪声或无声片段给予较小的权重。针对复杂的频谱分布,我们提出一种通道注意力机制,利用卷积核能够进行模式检测的特点,抑制卷积层中不相关的通道特征,保留重要的通道特征。进一步,我们结合了时间注意力机制和通道注意力机制学习特征的特点,设计一种学习能力更强的联合注意力机制。在实验中,我们对学习到的注意力权重进行了可视化,结果表明,我们提出的注意力模型能够使网络自动关注语义相关的特征,提高模型识别性能。本文ESC-10、ESC-50和DCASE2016几个环境声音识别基准数据集上评估了提出的方法,实验结果证明了所提出方法的有效性。

关键词：环境声音识别深度学习卷积循环神经网络数据增强注意力机制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习和迁移学习的环境声音识别

基于深度学习和迁移学习的环境声音识别

作者：史秋莹哈尔滨工业大学

学位级别：硕士

作为一种感知周围环境十分有效的方法,环境声音识别(Enviorment Sound Recognition,ESR)被广泛的应用在机器人导航、移动机器人、音频检索、音频取证以及其它基于情景感知、可穿戴的应用中。目前,多种经典的分类器被广泛的应用在ESR问题... 详细信息

作为一种感知周围环境十分有效的方法,环境声音识别(Enviorment Sound Recognition,ESR)被广泛的应用在机器人导航、移动机器人、音频检索、音频取证以及其它基于情景感知、可穿戴的应用中。目前,多种经典的分类器被广泛的应用在ESR问题中,但其性能还远未达到理想的水平,为了进一步提升ESR性能,本文首先引入了深度学习技术,深度神经网络作为一种高性能、多层级的神经网络,已经被广泛证明在提取数据特征和建立识别模型方面具有一定优势。声音因采集时无方向要求、且始终蕴含环境信息等优势,在环境识别时扮演主要角色,但考虑到一般情况下采集音频时容易获取若干辅助的视频信息,而且显然多模态信息更有助于提升环境识别的准确率,所以本文在构建基于深度神经网的环境识别方法时,同时利用音频特征和辅助视频特征。此外,针对在实际应用中环境类别非常多,新的识别需求不断涌现,针对新类别的数据标注和训练开销过大的问题,提出基于迁移学习的环境声音识别方法,基于已建模的相似环境类,和新类别的少量标注数据,学习得到新环境类别模型。本文将深度神经网络应用在环境声音识别问题中,为了充分利用声音特征和辅助视频特征,本文对如何融合两种模态信息进行探讨,提出两种特征融合方法,分别为基于特征的融合以及基于模型的融合。基于特征融合的环境声音识别方法,将音频特征和视频特征直接拼接作为深度信念网络(Deep Belief Network,DBN)的输入,并通过训练DBN进行环境场景的识别;基于模型融合的环境声音识别方法分别对音频信息和辅助视频信息建立DBN模型,并调至最优性能,然后用一个新的DBN用来代替原有两个DBN的输出层以实现模型融合,最终通过训练新的DBN进行环境声音识别。实验结果表明,基于模型融合的方法取得了最好的效果,识别性能相较于其它方法和基线系统有明显的提升本文提出基于迁移学习的环境声音建模方法,堆叠去噪自编码网络(Stacked Denoised Auto Encoder,SDA)的无监督训练较为简单,并能良好的学习数据集的特征,为其和迁移学习的融合提供了良好的基础。本文在迁移学习的框架下,结合SDA网络,通过衡量新环境类别的语料与现有环境语料之间的关系实现识别模型的迁移,实验表明此方法能有效地区分新场景,准确率有明显提升。在迁移学习理论框架下,反观DBN的预训练与微调过程,提出基于通用预训练的方法。该方法采用扩大DBN预训练数据集规模的策略,达到待识别数据只需在此通用预训练基础上进行快速的微调过程即可实现分类的目的。实验结果表明,此方法可以显著的提升待识别数据的性能,且用以扩大训练集的数据可以包括非场景数据,初步实验表明,部分说话人数据的加入有利于提升系统的稳定性和鲁棒性。

关键词：环境声音识别特征融合深度学习迁移学习