检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于自注意力序列模型的唇语识别研究

电子器件 2021年第3期44卷 624-627页

作者：王媛媛王沛吴开存盐城工学院信息工程学院江苏盐城224051 东南大学网络空间安全学院江苏南京210096 东南大学信息科学与工程学院江苏南京210096

唇语识别任务本身具有复杂性和多样性,为了应对这些挑战,提出了一种基于自注意力序列模型的唇语识别方法,并在带有上下文信息的单词级唇语识别任务中取得了很好的结果,模型在LRW数据集上的Top1准确率为84.79%,比主流的方法提高了2.75%... 详细信息

唇语识别任务本身具有复杂性和多样性,为了应对这些挑战,提出了一种基于自注意力序列模型的唇语识别方法,并在带有上下文信息的单词级唇语识别任务中取得了很好的结果,模型在LRW数据集上的Top1准确率为84.79%,比主流的方法提高了2.75%的准确率。通过多方面详细的分析和比较,证明了自注意力机制能有效提高唇语识别的性能。

关键词：唇语识别注意力机制序列模型深度学习

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于深度学习的藏语唇语识别研究

基于深度学习的藏语唇语识别研究

作者：曾浩西北师范大学

学位级别：硕士

唇语识别(Lip reading)涉及图像,自然语言处理等领域,成为目前计算机视觉领域中的研究热点,通过从连续的唇部图像序列中对时空信息建模,获取特征信息,从而学习到对应的文本内容。唇语识别的运用场景多,可以用来帮助听力障碍者交流,用于... 详细信息

唇语识别(Lip reading)涉及图像,自然语言处理等领域,成为目前计算机视觉领域中的研究热点,通过从连续的唇部图像序列中对时空信息建模,获取特征信息,从而学习到对应的文本内容。唇语识别的运用场景多,可以用来帮助听力障碍者交流,用于嘈杂环境下的语音识别,还可以用于军事,公安侦查和破案。但是,要想得到准确的唇语识别需要克服很多困难。人在说话时会存在不同的姿态以及不同的光照条件会影响唇语识别,丰富的语言内容导致唇部运动变化多样也提高了唇语识别的难度,导致了目前唇语识别的研究进展缓慢。深度学习的研究离不开数据,目前公开的唇语识别数据集较少且主要是英文数据集。首先对目前主流的唇语识别数据集做了综述。其次,我国是多民族融合国家,语言种类丰富,为了给藏语唇语识别奠定良好的基础,本文构建了第一个藏语词级唇语识别数据集,命名为TLRW-50,数据集文本包含50类常用的藏语词语,经过数据预处理保存为一系列的唇形图片序列。并采用了色彩增强、添加高斯噪声、水平镜像、放大、旋转、裁剪六种图片数据增强的方法对唇形图片帧序列进行扩充。数据扩充前对唇语识别视频进行了主观评估。结合唇语识别的难点将D3D算法运用到藏语唇语识别中,该模型对特征提取器进行了改进,将Dense Net里的空间卷积修改为时空卷积,提高了模型的短时依赖建模能力,采用了联结主义时间分类(Connectionist Temporal Classification,CTC)损失,使网络自主学习,输入输出序列在解码的时候能够对齐。通过大量实验,最终在LRW-1000上Top-1分类准确率为34.28%,Top-5分类准确率为50.26%。TLRW-50上Top-1分类准确率为39.65%,Top-5分类准确率为56.73%。表明该方法可用于实现藏语唇语识别。采用了变形流网络来捕获人脸运动变化信息,生成藏语唇语识别视频中人脸的变形流,以自监督方式来训练。为了提高唇语识别效果,使用变形流和原始视频作为双流网络的输入进行计算,每个分支独立地预测每类词的概率。为了使两个分支在训练过程中进行信息交换,采用了知识蒸馏,并利用一个双向的知识蒸馏损失来帮助两个分支在训练过程中互相学习对方的预测。在测试时,融合来自两个分支的预测,以做出最终的预测。我们观察到,与使用任何一个单一分支的结果相比,融合两个分支的测试结果具有更高的分类准确率。表明两个输入源,原始视频和变形流,为唇语识别任务提供了互补的线索。

关键词：藏语唇语识别唇语识别数据集数据扩充深度学习变形流网络

基于深度学习的唇语识别数据库构建和算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的唇语识别数据库构建和算法研究

作者：杨明敏华中科技大学

学位级别：硕士

近年来,深度学习在包括计算机视觉在内的很多领域取得了令人瞩目的成就。唇语识别(visual speech recogniton)作为目前计算机视觉领域中最具有挑战性的研究课题之一,它旨在通过对连续的唇部图像序列进行观察,进而学习到它所对应的文本... 详细信息

近年来,深度学习在包括计算机视觉在内的很多领域取得了令人瞩目的成就。唇语识别(visual speech recogniton)作为目前计算机视觉领域中最具有挑战性的研究课题之一,它旨在通过对连续的唇部图像序列进行观察,进而学习到它所对应的文本内容。但是,唇部变化的多样性和语言本身的丰富性给唇语识别任务带来的难度提升,导致了目前唇语识别的研究进展相对比较缓慢。深度学习的算法离不开大量的数据,但是目前学术界的开源数据集都是基于英语的,为了给未来中文唇语识别提供良好的基础,本课题的第一个工作即构建了第一个开源的开放场景下的中文唇语识别数据库LRW-1000,并提出了唇语识别数据库构建的完整流程和算法细节,这也是目前以分类为目标的、涵盖类别最多的、说话人对象最多的词级唇语识别数据库;同时,本课题从唇语识别任务的难点出发,提出了一个新的唇语识别算法模型结构,它通过改进现有的特征提取器DenseNet,强化模型的短时依赖的建模能力,同时学习到multi-scale的特征可以对分辨率的变化拥有更好的鲁棒性。并且考虑到不同文本内容与面部不同区域关联程度的差异性,本课题引入了一个全新的注意力机制来辅助网络学习这种相关性,让网络能够更好的关注最明显相关的区域。在仅使用图像信息的基础上,本课题提出的方法在目前主流唇语识别数据库LRW和GRID都取得了最好结果:在LRW上的分类准确率为82.73,超过当前最好的结果1.43%;在GRID上的wer为12.8%,超过当前最好的结果9.2%。同时,对于自建的中文数据集LRW-1000,本课题提出的算法在性能上也要优于当前的主流模型。

关键词：深度学习唇语识别时空卷积循环神经网络注意力机制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的唇语识别算法研究

基于深度学习的唇语识别算法研究

作者：毕崇圆中国计量大学

学位级别：硕士

唇语识别技术是从语音识别中发展出来的一个分支。在过去的几十年中,人们越来越多地开始使用视觉提示来帮助解码语音,模仿人类进行唇读的能力,从而开发了自动唇读系统。与音频或视听系统相比,自动唇读系统的性能仍然落后。唇语识别技术... 详细信息

唇语识别技术是从语音识别中发展出来的一个分支。在过去的几十年中,人们越来越多地开始使用视觉提示来帮助解码语音,模仿人类进行唇读的能力,从而开发了自动唇读系统。与音频或视听系统相比,自动唇读系统的性能仍然落后。唇语识别技术的主要挑战之一在于视觉上的歧义,由于同音字而使单词识别难度增加,同音字产生相同或相似的嘴唇运动。此外头部位置的变化、照明条件、时空分辨率、时空信息的有效编码等因素也极大的影响了唇读识别的鲁棒性。本文提出了一种中文唇语识别方法,先对图像中唇部信息进行拼音识别,然后采用自注意力机制对拼音序列进行汉字识别。具体的内容如下:(1)提出一种基于双支网络与全局上下文关联的时空卷积的唇部图像转拼音识别算法。对唇部运动轨迹相同或相似的词语使用Res Net-34网络对输入的唇部图像序列进行特征提取,对于唇部运动轨迹差别较大的词语使用Dense3DNet-56网络进行特征提取。采用一个mask结构对两个模块的信息进行融合。提出了一个全局上下文关联的时空卷积(NTCN),用来对提取的唇部运动特征图进行识别,对原有TCN内部的结构进行改进,可以更好的关联上下文信息。(2)提出一种基于自注意力机制的唇部拼音转文本识别算法。不再使用之前传统的序列识别模型必须结合卷积神经网络或者循环神经网络的固有模式,使用的尺度点积注意力机制算子在有效减少模型计算量的同时提高了网络的并行效率。采用的多头尺度点积自注意力机制利用模型获取的不同表示子空间的信息并进行联合,使得模型可以更好的关注上下文的信息,根据拼音判断汉语的句法和语义结构。

关键词：唇语识别拼音序列识别双支网络自注意力机制卷积神经网络

基于Conv-seq2seq的唇语识别技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Conv-seq2seq的唇语识别技术研究

作者：张兴璇上海交通大学

学位级别：硕士

唇语识别是一种可以仅根据说话人的唇部运动状态中预测出说话人说话内容的技术,在计算机视觉和自然语言处理的交叉应用中具有极其重要的意义。比如在嘈杂环境中或远距离交流时唇语识别可以使用视觉信息预测说话人试图表达的内容,并可以... 详细信息

唇语识别是一种可以仅根据说话人的唇部运动状态中预测出说话人说话内容的技术,在计算机视觉和自然语言处理的交叉应用中具有极其重要的意义。比如在嘈杂环境中或远距离交流时唇语识别可以使用视觉信息预测说话人试图表达的内容,并可以与音频识别配合增强识别的准确率。唇语识别也可应用于音视频对齐,利用视觉特征与听觉特征的序列匹配实现对音视频的修正。另外,唇语识别还可以被应用于抵抗重放攻击的活体检测器,作为其他生物特征识别的有效补充。唇语识别的难点在于利用唇部运动的动态信息。传统的唇读方法大多直接使用自然语言处理中的序列模型（如LSTM,Transformer等）或音频识别中的训练损失（如时间联结分类损失）实现视觉特征序列到预测字符序列之间的映射,而这些方法并没有充分利用唇部运动的动态特征。并且由于模型的复杂性和冗余性,这些模型通常需要过长的训练时间,不能满足实际应用的需要。本文的主要研究内容是使用时序卷积作为序列到序列映射模型的基本组成元素,通过不同卷积核尺寸的组合构建一个健壮的序列映射模型。另外,本文还提出了时空信息融合模块用于在降低特征维度的同时保证对空间信息的充分应用。针对现有模型所需训练时间过长的问题,本文提出了局部自注意力机制通过屏蔽过长的时序依赖关系而加速模型的训练过程。为了验证模型的识别性能,本文在国际公开大型语料库GRID,LRW,LRS2-BBC和LRS3-TED等上进行了一系列的模块对比实验,并与多个目前最先进的方法进行了比较和分析。实验结果表明,本文方法在单词级别语料库GRID,LRW均优于其他方法,分别取得了98.3%和83.7%的单词准确率。在句子级别语料库LRS2-BBC和LRS3-TED上,本文方法在仅使用一半左右训练数据的情况下取得了与目前最优结果接近的准确率。此外,本文方法在相同硬件条件下所需要的训练时间远远少于其他方法。

关键词： Conv-seq2seq 唇语识别时序卷积时空信息融合

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的唇语识别模型压缩研究

基于深度学习的唇语识别模型压缩研究

作者：温静北方工业大学

学位级别：硕士

通过分析唇部动态识别出说话者的表达内容是唇语识别的基本目的,其在人机交互领域是广受关注的研究项目。由于传统唇语识别模型具有速度慢,训练难度大的特点,在基于不同场景的唇语识别技术上需要大量的人工设计与经验性处理。所以本文... 详细信息

通过分析唇部动态识别出说话者的表达内容是唇语识别的基本目的,其在人机交互领域是广受关注的研究项目。由于传统唇语识别模型具有速度慢,训练难度大的特点,在基于不同场景的唇语识别技术上需要大量的人工设计与经验性处理。所以本文选择基于深度学习建立唇语识别模型,但是在资源紧凑的设备上,大部分性能优异的卷积神经网络都无法展示自己的高效识别能力。因此,卷积神经网络的压缩与加速成为众多学者的热门研究课题,经过网络压缩,可以降低模型对设备的计算和存储资源的使用率。其中,使用较多的方法是对网络进行剪枝,剪枝可以减小网络性能的损耗,通过设置判断标准有效去除参数,达到降低冗余信息的目的。本文提出基于结构化的网络压缩与加速方法用于卷积神经网络,融合剪枝后的卷积神经网络和循环神经网络并将其应用于唇语识别系统。本文具体工作内容如下:1、扩充自制的唇语数据集,对原视频进行关键帧提取与唇部区域的定位等预处理操作。首先对录制好的数据集视频进行半随机关键帧提取,将视频转为可以输入网络模型的静态图像。随后,使用MTCNN算法检测出人脸区域并对不正常角度的进行矫正,再应用Dlib人脸68关键点检测方法,通过唇部关键点精确定位嘴唇区域。2、网络模型压缩与加速是本文的主要部分。利用剪枝的方法对性能好但是模型参数量较大的VGG16网络进行压缩。本文提出基于结构化的通道剪枝方法,引入批量归一化层的调节参数,使其与网络通道权重联合训练的值作为剪枝的衡量标准,建立通道重要性排序,通过设置全局阈值对排序后的通道进行修剪,该方法利用了网络中存在的批量归一化层对网络具有提高性能和收敛性的特点。3、循环神经网络是在时间序列上的有向展开。本文利用循环神经网络来解决唇语视频抽帧后图像间存在的语义信息的问题,由于输入的唇语数据是时间序列图像,具有上下文语义,针对此现象循环神经网络可以解决时间序列的上下文特征提取。梯度不稳定是传统循环神经网络不可忽视的问题,本文选取双向长短时记忆网络（Bi LSTM）来学习唇动序列特征。在剪枝后的卷积神经网络完成特征提取后将其输入Bi LSTM中学习时序特征语义信息。4、最后将经过本文设计的剪枝后卷积神经网络和Bi LSTM融合的网络架构（Prune-VGG16+Bi LSTM）,通过Softmax层输出识别出的唇语预测结果。将基于不同阈值剪枝后的网络与原网络的各方面性能进行对比,分析结果。

关键词：唇语识别剪枝卷积神经网络网络压缩

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的唇语识别算法研究

基于深度学习的唇语识别算法研究

作者：冯省城广东工业大学

学位级别：硕士

近年来,由于大规模唇语数据集的不断发布和计算机视觉的发展,词语级别的唇语识别技术的研究取得了一些令人瞩目的进展。大量的词语级唇语识别文章表明前端网络加后端网络的结构是当前最有效的结构。前端网络负责唇部图像序列的图像特征... 详细信息

近年来,由于大规模唇语数据集的不断发布和计算机视觉的发展,词语级别的唇语识别技术的研究取得了一些令人瞩目的进展。大量的词语级唇语识别文章表明前端网络加后端网络的结构是当前最有效的结构。前端网络负责唇部图像序列的图像特征提取,后端网络负责唇部特征向量的时序特征提取。但是使用哪种前端网络和后端网络能够获得最佳的性能还不能获得统一的结论,所以对于前后端网络的改进仍然是一个值得研究的问题。本文在这个问题上做了如下工作:首先,本文舍弃了常用于前端网络中的Res Net网络,引入了Dense Net网络作为新的前端网络,其使用的特征复用思想能够有效地提高浅层特征的利用率。由于唇部图像相对简单,并不需要过于庞大的图像特征提取网络,本文先对Dense Net121的深度进行缩减,接着加入了通道注意力层使网络自动注意重要的特征通道从而提高网络的特征提取能力,最后把Re LU激活函数更换成Mish激活函数以获得更加平滑的梯度。通过消融实验的结果表明,各个部分的改进对前端网络的性能都有提升。然后,本文提出了一种把特征图转换成特征向量的新方法,时空融合模块（STFM）。一般方法使用全局平均池化对特征图和特征向量进行转换,这会导致信息的损耗,时空融合模块能够有效地解决这个问题。时空融合模块通过时序卷积把不同时间的空间信息进行融合,获得了新的特征向量。通过实验表明了其信息的损耗降低了。接着,本文抛弃了常用于后端网络的Bi GRU网络,提出了一个基于特征复用的时序卷积网络（FR-TCN）。由于基于特征复用的时序卷积网络利用了浅层网络特征,所以其具有更加细粒度的感受野,细粒度的感受野有助于时序特征的提取。并且在FRTCN中使用Spatial Dropout代替Dropout以此获得随机丢帧的数据增强效果。最后,本文提出了一个适用于唇语识别的帧注意力模块（FAM）。本文认为不同唇部图像对于识别的重要程度是不一样的,通过帧注意力模块自动学习不同唇部图像的重要性,增大关键帧对输出的影响,减小非关键帧对输出的影响,从而获得性能的提升。通过实验表明了帧注意模块的有效性。

关键词：唇语识别时空融合模块帧注意力模块特征复用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

多粒度唇语识别技术研究

多粒度唇语识别技术研究

作者：王晨浩中国科学院大学(中国科学院人工智能学院)

学位级别：硕士

唇语识别是指利用计算机视觉技术根据说话人讲话过程中唇部变化识别出说话内容的技术。要实现准确的唇语识别,需要克服许多挑战,包括说话过程中说话人姿态的变化、所说内容的多样性、以及说话时的光照条件等。针对这些挑战,本文以多粒... 详细信息

唇语识别是指利用计算机视觉技术根据说话人讲话过程中唇部变化识别出说话内容的技术。要实现准确的唇语识别,需要克服许多挑战,包括说话过程中说话人姿态的变化、所说内容的多样性、以及说话时的光照条件等。针对这些挑战,本文以多粒度信息融合的唇语识别方法为核心展开研究。具体来说,一方面,许多词发音近似,导致说话过程中这些词对应的唇部变化较难区分。对此,本文针对各个时刻进行特征提取与增强,形成侧重表现各个时刻的局部空域变化的细粒度模式,增强不同词之间的差异性;另一方面,虽然不同人的说话习惯、姿态变化等可能各不相同,但同样的语音内容通常会引起具有一致性规律的面部变化。为此,本文提取各个近邻时空域内的显著性运动模式,构建视觉表达的中粒度模式,捕捉各个单词对应的面部变化规律;最后,本文通过引入前后时刻的关联性,提取从整个序列层面考虑的全局模式,形成能鲁棒应对不同说话习惯、视频中不同光照条件等非一致性的表达。本文主要完成了以下工作:1)协助构建了一个大规模普通话单词唇语数据集LRW-1000。考虑到深度学习算法离不开大规模的数据,本文标注了一个单词级的普通话唇语数据集LRW-1000,为本文的方法实验奠定了基础。该数据集包含1000个中文单词类别,共有超过70万个训练样本,形成了目前最大和最具有挑战的中文数据集。2)提出了一种多分支的多粒度时空模型。本文分别引入基于2D卷积神经网络、3D卷积神经网络与长短时记忆网络的模块,实现对不同粒度信息的有效提取,同时引入注意力机制实现对不同粒度信息的融合,完成鲁棒、准确的唇语识别,并在两个大型词级数据集上验证了该方法的有效性。3)提出了一种时空残差融合的多粒度模型。针对之前工作存在模型庞大、计算量大等问题,本文提出一个新的模型,在该模型中引入残差注意力机制,将基于2D卷积的细粒度模式和基于3D卷积的中粒度模式融为一个整体表达,并以该融合模块为基本单元构建深层模型,实现不同层级上不同粒度模式的提取,提高识别的准确率,并在多个数据集上的实验结果表明该方法取得了优良的效果。

关键词：唇语识别视觉语音识别多粒度建模深度学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的中文唇语识别方法研究

基于深度学习的中文唇语识别方法研究

作者：何珊南京航空航天大学

学位级别：硕士

唇语识别是融合了计算机视觉、语音识别和自然语言识别等多领域技术的课题,目的是解码说话者嘴唇运动生成的文本,具有非常广阔的应用场景和现实意义,目前最常见的是用于辅助提升语音识别准确率,也可以帮助听障人士进行交流等。随着深度... 详细信息

唇语识别是融合了计算机视觉、语音识别和自然语言识别等多领域技术的课题,目的是解码说话者嘴唇运动生成的文本,具有非常广阔的应用场景和现实意义,目前最常见的是用于辅助提升语音识别准确率,也可以帮助听障人士进行交流等。随着深度学习的发展,唇语识别技术在英文方面取得了长足的进步,但中文无论是在数据集的丰富性还是识别的准确率上均存在一定的落差。本文通过分析中文的发音特点,利用深度学习技术,意图在句子级别进行中文唇语识别,并提高识别准确率。具体研究内容包括以下两个方面:第一,深入研究中文发音的原理和特点,总结出了几种适合于中文唇语识别的建模单元集(词、音节、声韵母和中文音素),并分析了它们各自的优缺点和适用性。然后,通过分析中文发音的视觉特点可知,组合成短语或句子的汉字发音在唇形变化上极具混淆性。据此,提出“视觉拼音”这一概念,它是通过对中文音素进行视觉相似性归类得到的,尽可能地规避中文在视觉表达上的歧义性,这也是中文唇语识别领域的一个新的建模单元集。通过实验对比,得出视觉拼音相比于其他建模单元集,更适合中文唇语的解析。第二,基于深度学习技术,设计和实现中文唇语识别模型。为了验证视觉拼音的有效性,建立了以视觉拼音作为建模单元集的端到端句子级中文唇语识别模型。模型基于两个带有注意机制的序列到序列网络串联而成,作用分别是:(1)解析唇部视觉特征,将视频帧表达成视觉拼音;(2)以唇部视觉特征辅助矫正视觉拼音,将视觉拼音序列翻译成汉字语句。实验结果表明,相比于其他方法,本文利用视觉拼音建立的模型性能更优,可以更准确地识别汉字。本文工作面向中文自身的特点,提出了一个新的中文唇语识别建模单元集——视觉拼音,并基于视觉拼音构建了一个端到端的中文唇语识别模型。实验结果一方面证明了所建模型的性能更优,另一方面也证明了视觉拼音的参与可明显提高中文唇语识别的准确率,为将来的相关工作提供了参考。

关键词：唇语识别深度学习卷积神经网络序列到序列模型注意机制视觉拼音