检索结果-南通市图书馆

作者：蔡瀛北方工业大学

学位级别：硕士

随着人机交互的迅速发展,语音识别作为最高效最便捷的人机交互方式之一,受到了研究者广泛的关注。但是在复杂的环境中,语音识别受到很大干扰,无法满足人类的正常需求,因此,唇语识别技术开始兴起,该技术在智能人机交互、视频大数据的挖... 详细信息

随着人机交互的迅速发展,语音识别作为最高效最便捷的人机交互方式之一,受到了研究者广泛的关注。但是在复杂的环境中,语音识别受到很大干扰,无法满足人类的正常需求,因此,唇语识别技术开始兴起,该技术在智能人机交互、视频大数据的挖掘、视频监控的语音读取等领域都有不可限量的发展前景。本文将根据说话者嘴唇的视觉特征来理解话语内容,主要从唇部区域定位、唇部的特征提取和唇语识别环节进行研究。在唇部区域定位方面,本文选用AdaBoost算法用于人脸检测和定位,通过嘴唇在人脸中的固定位置,获取本文的感兴趣区域(ROI),即嘴唇区域。在唇部特征提取方面,本文获取嘴唇轮廓关键点进行曲线拟合,通过嘴唇轮廓曲线,获取曲线的参数作为嘴唇视觉的形状特征;再利用拟合曲线建立唇部轮廓模型,获取视觉几何特征,两者相结合,形成嘴唇整体视觉特征向量;通过本文优化的局部敏感判别分析(OLSDA)方法对视觉特征向量进行降维操作,保持主要特征信息,减少冗余度。在唇语识别环节,本文在隐马尔可夫模型的基础上,采用K均值聚类算法对唇动序列特征向量进行量化聚类,作为识别环节训练和识别的输入。考虑本文的需求,利用本文自制的视频数据库作为样本进行实验,实验结果表明,本文搭建的唇语识别系统有较为理想的性能,同时也验证了本文提出的唇部定位、特征提取以及唇语识别环节算法的可行性。

关键词：唇部区域定位特征提取唇语识别隐马尔可夫模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的唇语识别

基于深度学习的唇语识别

作者：吴开存东南大学

学位级别：硕士

唇语识别任务是指通过说话人的嘴唇动作,识别出说话人的语言内容。唇语识别的关键是如何有效提取出能反映嘴唇运动信息的特征向量。深度神经网络可以通过目标函数和反向传播机制更新海量参数的权重,自动学习到与目标任务相关的特征,在... 详细信息

唇语识别任务是指通过说话人的嘴唇动作,识别出说话人的语言内容。唇语识别的关键是如何有效提取出能反映嘴唇运动信息的特征向量。深度神经网络可以通过目标函数和反向传播机制更新海量参数的权重,自动学习到与目标任务相关的特征,在唇语识别任务上取得了较好的结果,但是由于唇语识别任务本身的复杂性和嘴唇运动的多样性,唇语识别任务仍然存在很多难点和挑战。针对这些问题,本文提出了一种基于深度学习注意力机制的词语级别的唇语识别模型,并在带有上下文信息的目标单词的唇语识别任务上取得了很好的结果,模型在LRW数据集上的Top1准确率为86%,在LRW-1000数据集上的Top1准确率为38.58%。同时唇语识别任务需要语音端点检测,而在有噪声条件下,使用语音数据进行端点检测效果较差,因此本文利用嘴唇运动信息,提出了一种基于深度学习的视觉模型进行语音端点检测,在低信噪比声学条件下,视觉模型取得了比基于声学特征的传统机器学习算法和深度学习语音检测算法更好的端点检测效果。本文的主要工作和创新点如下:(1)提出了一种基于深度学习注意力机制的词语级别的唇语识别模型。该模型使用时空三维卷积提取嘴唇图像序列的时空特征,使用通道注意力机制对图像特征加权,提升有效特征抑制无效特征,使用长短期记忆网络对特征的时序关系建模,使用时序注意力机制对不同时间点的特征加权,学习不同时刻的特征与最后识别结果的相关性。最后通过与目前最优秀的唇语识别模型做对比,验证了本文模型的优越性,同时通过对比实验证明了通道注意力机制和时序注意力机制的有效性。(2)提出了一种基于深度学习的视觉模型进行语音端点检测任务,使用视觉模态的嘴唇运动信息作为输入,对一帧数据进行分类时,不仅使用当前该帧的数据,而且利用之前连续数帧的数据结合在一起作为输入,对于嘴唇图像数据,使用时空三维卷积网络提取图像序列中嘴唇区域的空间特征和嘴唇运动信息对应的短时间维度上的特征,通过长短时记忆网络进一步提取时间维度上特征,最后通过全连接层做分类,检测该帧数据为语音段或者非语音段。并通过实验验证在低信噪比声学条件下,视觉模型端点检测效果优于深度学习语音模型和基于语音特征的机器学习分类器模型。

关键词：唇语识别注意力机制长短时记忆网络语音端点检测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于卷积神经网络的唇语识别技术研究

基于卷积神经网络的唇语识别技术研究

作者：姜海洋北方工业大学

学位级别：硕士

自动唇读是一种集计算机视觉、人工智能与自然语言处理于一体的综合技术,可以直接从人讲话时的嘴唇动作图像序列中识别讲话内容,是一种新型的人机交互方式。近年来,随着人工智能技术的快速发展,唇语识别技术也越发的更加成熟起来,其网... 详细信息

自动唇读是一种集计算机视觉、人工智能与自然语言处理于一体的综合技术,可以直接从人讲话时的嘴唇动作图像序列中识别讲话内容,是一种新型的人机交互方式。近年来,随着人工智能技术的快速发展,唇语识别技术也越发的更加成熟起来,其网络模型的识别准确率也有着明显的提高。本文利用公开数据集GRID语料库中的视频数据,在GPU平台上搭建了一个固定结构语句的唇语识别系统,固定结构语句中包括命令、颜色、介词、字母、数字以及副词,例如:“Place blue in m one soon”。所有语句都采用这样的结构,该系统是一个句子层面的唇语识别系统。我们采用一种耦合三维卷积神经网络(3D-CNN)和双向长短期记忆网络(Bi-LSTM)相结合的网络架构对输入的连续75张图片数据进行特征提取,同时,为了不对输入的每一帧图片数据和标签数据进行人工对齐操作,我们采用了CTC损失函数作为唇语识别系统的模型训练损失。采用CTC作为损失函数的唇语识别系统模型训练,是一种完全端到端的唇语识别系统模型训练,不需要预先对数据做对齐,只需要一个连续动作的嘴部图像输入序列和一个标签输出序列即可以训练网络模型。本文使用的网络结构较小,用于学习和训练的数据集也不大,唇语识别的准确率在同类方法中有明显的提升,同时本文实现了唇语识别从单个词和单个数字的识别到一个语句、一句话的识别,为自动唇读技术的产品落地做出了有意义的探索,其成果及应用经验很容易扩展到其他设备和智能家居系统中去。

关键词：唇语识别三维卷积神经网络双向长短期记忆网络 CTC损失函数

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向语音辅助唇语识别的知识蒸馏

面向语音辅助唇语识别的知识蒸馏

作者：许睿浙江大学

学位级别：硕士

唇语识别在日常生活中有着广阔的应用场景,例如在嘈杂的声学环境中辅助语音识别,方便聋哑人等残障人士进行交流,为黑白默片生成字幕等等。近年来,随着深度学习的蓬勃发展,唇语识别领域取得了许多重要的突破,但同时也蕴含着一些困难与挑... 详细信息

唇语识别在日常生活中有着广阔的应用场景,例如在嘈杂的声学环境中辅助语音识别,方便聋哑人等残障人士进行交流,为黑白默片生成字幕等等。近年来,随着深度学习的蓬勃发展,唇语识别领域取得了许多重要的突破,但同时也蕴含着一些困难与挑战,例如相对于图像分类、神经机器翻译等任务,唇语识别的训练样本数量较少;唇部运动存在着固有的视觉模糊性,增加了模型提取鉴别性特征的难度。针对上述问题,本文提出了面向语音辅助唇语识别的知识蒸馏方法,以更好地提升唇语识别模型的性能。本文从三个方面的角度进行分析:第一,视频信号和音频信号具有关联性。对于同一段文字序列,两种不同模态的信号包含有相同部分的信息。第二,现有的语音识别数据集规模较大,且模型性能较好。第三,知识蒸馏方法可以将老师模型所学的知识传递给学生模型。因此,本文在输出空间上提出了3种不同粒度级别的知识蒸馏方法。具体的,在字符级别中,通过引入求解最长公共子序列的方式,有效缓解了语音识别模型解码序列与真实目标输出序列长度不一致的问题;在序列级别中,利用波束搜索解码的结果,将语音识别模型所学的上下文知识传递给唇语识别模型;在字符—序列混合级别中,将语音识别模型波束搜索解码的结果与真实目标输出序列结合起来,辅助唇语识别模型进行训练。此外,本文还考虑到对于相同的文字序列,视频信号和音频信号可以提供互补的信息。因此,本文在特征空间上提出了利用已训练好的语音识别模型,辅助唇语识别模型进行训练的知识蒸馏方法。特别的,本文分析了已有的LIBS方法的局限性,并提出了相应的优化方案——添加一项视频特征级别的知识蒸馏损失函数,从而增强了对于视频特征提取模块的约束。通过使用类似于注意力机制的对齐方式,解决了视频信号和音频信号长度不相等的问题,并且建立起两者之间的对应关系。通过一系列在英文唇语识别LRS2-BBC数据集上的实验结果分析,有效验证了本文所提出的面向语音辅助唇语识别的知识蒸馏方法,模型性能相对于基准的WAS方法均有所提升。

关键词：唇语识别知识蒸馏语音识别深度学习跨模态

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于唇语识别的交流辅助系统的设计与实现

基于唇语识别的交流辅助系统的设计与实现

作者：王晓磊东北大学

学位级别：硕士

唇语识别是计算机视觉领域一项极具挑战的任务,其目的是根据说话人唇部运动视频识别出其说话内容。一方面,在嘈杂环境中,当语音识别受到影响时,唇语识别技术可作为其辅助手段,突破环境限制。另一方面,唇语识别能够辅助听力障碍人士进行... 详细信息

唇语识别是计算机视觉领域一项极具挑战的任务,其目的是根据说话人唇部运动视频识别出其说话内容。一方面,在嘈杂环境中,当语音识别受到影响时,唇语识别技术可作为其辅助手段,突破环境限制。另一方面,唇语识别能够辅助听力障碍人士进行正常交流。此外,唇语识别技术在人机交互、视频监控、公共安全及身份认证等领域具有广阔的应用前景。作为一项新兴技术,整体上较低的识别精度使得该项技术仍停留在理论研究阶段,未能应用于实际。针对这一现状,本文使用深度学习方法,从人脸检测、唇部区域定位与提取、唇语识别三个方面进行研究。本文所做的工作和创新点如下:(1)针对使用Haar特征进行人脸检测准确率低及使用HOG特征进行人脸检测速度慢的问题,为了在保证准确率的情况下实现人脸实时检测,本文提出了一种基于Haar特征和HOG特征的人脸检测加速算法。此算法在脸部位置相对固定的情况下,可保证较高准确率以及较快检测速度。(2)针对3D卷积在提取唇部运动视频空间时序特征时忽略空间时序信息不对称性的问题,为挖掘更多的隐含特征,有效学习唇动序列帧的空间时序信息,本文提出了一种(2+1)D卷积,其中(2+1)D卷积对3D卷积进行因式分解,将其原有的一步操作分为两步:独立连续的二维空间卷积和一维时间卷积。充分考虑时间和空间的不对称性,利用(2+1)D卷积可提取更丰富、更抽象的唇部运动短期空间时序特征,利于后续唇部运动的长期空间时序特征的提取。(3)针对现有唇语识别算法对空间时序信息提取能力不足的问题,为了提高对句子识别的准确率,本文提出一种基于(2+1)D CNN-BiGRU网络的唇语识别模型,结合(2+1)D CNN强大的短期空间时序特征提取能力和BiGRU网络对时序数据的记忆能力,使得该模型可同时利用过去和未来所有时序信息,将当前图片的特征扩充至整个序列图片中,实现对整个唇动时序特征的有效学习。在GRID数据集上进行测试,实验结果表明该模型有较高的识别精度,性能优于对比模型。(4)为满足唇语识别实际需求,本文基于(2+1)D CNN-BiGRU唇语识别模型设计实现了一个唇语识别交流辅助系统,该系统实现了视频采集、人脸检测、唇部定位与提取和唇语识别的功能,基本满足唇语识别的需要。

关键词：唇语识别深度学习 (2+1)D卷积循环神经网络特征提取

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的唇语识别技术研究

基于深度学习的唇语识别技术研究

作者：魏友达中国科学院大学(中国科学院西安光学精密机械研究所)

学位级别：硕士

听觉作为人类一种重要的能力,是与人交流的重要媒介,但很多人因为先天或者后天的缺陷无法通过听觉来与人交流。唇语作为一种通过视觉判断说话内容的技术可以帮助他们实现快速沟通。除此之外,唇语的识别对于嘈杂环境语音识别、安防系统... 详细信息

听觉作为人类一种重要的能力,是与人交流的重要媒介,但很多人因为先天或者后天的缺陷无法通过听觉来与人交流。唇语作为一种通过视觉判断说话内容的技术可以帮助他们实现快速沟通。除此之外,唇语的识别对于嘈杂环境语音识别、安防系统认证和公共安全分析中都有重要应用。这些因素决定了唇语识别研究的重要价值。如今,深度学习的发展,推动着唇语识别的快速发展。本文着重对基于深度学习的唇语识别技术进行了研究。由于深度学习本质是由数据驱动的算法,越来越多成功的深度学习例子都说明了数据集的质量决定着深度学习算法模型训练结果的好坏,对于唇语的识别也不例外。本文从唇语数据集出发,针对唇语识别数据集构建时的难点,设计了一种基于金字塔LK(Lucas-Kanade)光流法的唇语自动标注系统。该系统首先利用语音处理技术和人脸唇部区域定位技术对视频进行预处理,再利用光流法计算出相邻帧之间嘴唇的运动信息来精确地标注出嘴唇变化所对应的时间,完成标注任务。相比于单单利用语音识别标注的方法,本系统标注出的唇语样本更为精确,数据集质量更高。为实现中文的唇语识别,本文采用该系统建立了一种中文常用语唇语数据集CPLDS(Chinese Phrase Lip Data Set)。在唇语识别的深度学习模型构建中,本文从唇动特性入手,由于唇语识别不仅要识别出唇部区域图片空间的信息,还需要关注图片序列随时间变化的关系。本文利用改进的VGG(Visual Geometry Group)卷积神经网络对嘴唇图片进行空间特征的提取,再利用GRU(Gated Recurrent Unit)循环神经网络提取唇动的时序特征,最后将两者结合共同构建了唇语识别深度学习模型。在损失函数的设计上采用CTC(Connectionist Temporal Classification)作为时序输出损失。在深度神经网络模型的训练过程中,利用迁移学习,提升模型的泛化能力,同时利用批量归一化BN(Batch Normalization)和丢弃法(Dropout)来防止模型出现过拟合的问题。在模型的表现上,在语料大小为均为20的中文CPLDS数据集和英文MIRACL-VC1数据集上,本文提出的深度学习唇语识别模型达到了97.3%和96.6%识别率。在小语料场景下,略优于目前唇语识别网络模型的实验结果。

关键词：深度学习唇语识别 VGG GRU 金字塔LK光流法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的唇语识别技术及其应用研究

基于深度学习的唇语识别技术及其应用研究

作者：杨棽尧北方工业大学

学位级别：硕士

随着深度学习及人工智能的发展,唇语识别技术在计算机视觉及人机交互领域有着深厚的发展前景与应用需求。尤其是在利用自动唇部识别技术来改善听力障碍者和发音障碍者的社交互动方面,更是人工智能在医疗保健和康复中最有前途的应用之一... 详细信息

随着深度学习及人工智能的发展,唇语识别技术在计算机视觉及人机交互领域有着深厚的发展前景与应用需求。尤其是在利用自动唇部识别技术来改善听力障碍者和发音障碍者的社交互动方面,更是人工智能在医疗保健和康复中最有前途的应用之一。所谓唇语识别技术就是通过嘴唇视觉图像的动态变化来识别主要人物表达的内容。当前阶段,唇语识别技术主要停留在对算法以及计算机性能的研究上,很少将其真正的运用到实际生活场景中。因此,本研究聚焦研究基于深度学习的唇语识别应用系统,即针对听障人士的语言矫正系统,更加具有实际意义,旨在为未来自动唇读识别技术更加落地化奠定基础。本文主要运用ResNet-50残差网络结构对手势语言进行识别,运用MobileNet轻量级网络与LSTM网络相结合的方式对发音者的唇读时序序列进行识别,并构建唇形相似度匹配系统,以手语识别作为媒介来辅助听障人士学习正确的嘴唇发音序列图像,矫正口型。具体研究内容如下:对视频处理算法的研究:本文提出并设计了一种半随机抽取视频帧策略来提取人脸序列图像。使用Dlib库中的人脸68关键点检测法定位嘴唇区域。然后根据嘴唇各个方向边界的关键点精确定位与分割出感兴趣的嘴唇区域,从而减少后续计算中的冗余信息。基于ResNet-50网络结构的手势图像特征提取的研究:由于手部区域图像较大,细节特征较少,因而本文采用ResNet-50网络结构来提取手语特征,该网络结构良好的应用了计算残差这一方式,减少了常规特征提取方法中所需参数的数量,缩短了应用系统的运行时间。基于MobileNet与LSTM融合的嘴唇视频序列图像特征提取的研究:依赖于CNN在图像特征提取方面的强大能力,以及RNN在处理时序特征时的实用性,本文选取MobileNet网络与LSTM相结合的方式,不仅能有效的提取出嘴唇发音视频图像的序列特征,还能再保证识别准确度的同时,极大程度的降低所需要的参数数目。具有界面功能的唇读识别及矫正应用系统研究:根据听力残障人士的实际应用需求,设计出唇读序列比对系统,结合手语识别结果,给出使用者正确的唇读序列及自身唇读序列之间的差异化数值,并搭建一个可操作的系统界面,以供其进行使用、学习和矫正。

关键词：深度学习唇语识别特征提取手势识别口型矫正

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意力机制的唇语识别模型研究

基于注意力机制的唇语识别模型研究

作者：唐竞驰北京邮电大学

学位级别：硕士

唇语识别作为一种具有广阔应用前景但实现难度较高的技术,近年来一直受到计算机视觉领域受到极大的关注。但是目前的基于深度学习的唇语识别算法受限于卷积神经网络和循环神经网络先天的结构缺陷,虽然在字词级别能够得到较高的准确度,... 详细信息

唇语识别作为一种具有广阔应用前景但实现难度较高的技术,近年来一直受到计算机视觉领域受到极大的关注。但是目前的基于深度学习的唇语识别算法受限于卷积神经网络和循环神经网络先天的结构缺陷,虽然在字词级别能够得到较高的准确度,但在短语和句子等长结构文本场景中的表现仍然不是非常理想,有很大的进步空间。为在汉语条件下实现短语级别的唇语识别,本文基于注意力机制,结合卷积神经网络和循环神经网络,针对唇语识别场景的特点,提出了两种新的注意力机制:时空耦合注意力和多头自注意。在时空耦合注意力部分,主要针对三维卷积神经网络无法有效捕捉唇部细小动作变化以及卷积核学习特征显著性不强的缺点,在时间域和空间域中分别使用注意力机制,并将两者耦合后上采样计算出注意力分数在整个视频中的时空分布,以此提升网络提取唇部运动特征的能力。在多头自注意力部分,主要针对seq2seq结构无法有效建立汉语之间字词的关联性以及易过拟合的缺点,通过合并多个隐状态以及重新设计注意力分数的计算方式,极大地提升了在序列建模部分将特征转换为正确文本的概率。由于缺乏公开的中文短语数据集,本文设计建立了一个中文短语的自建数据集,并在该数据集上训练及验证了上述两种注意力的性能,同时针对整个算法的特性设计了合适的训练策略。最终算法获得了最优85.5%的正确率,相较于目前学术界句级别效果最优的算法提升了5.8%的准确度。在本文的最后,使用了可视化的方法对算法进行了定性的分析,深入分析了注意力机制的机理并给出了下一步可行的改进方案。

关键词：注意力机制唇语识别三维卷积神经网络 seq2seq

基于Long Short-Term Memory的唇语识别研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Long Short-Term Memory的唇语识别研究

作者：马宁中国科学院大学(中国科学院重庆绿色智能技术研究院)

学位级别：硕士

唇语识别是指利用计算机分析人说话的视频并根据说话人嘴唇运动的情况来自动识别其说话内容。唇语识别得以实现的基础在于唇动视觉信息是说话内容的重要载体,普通人在与人交流的过程中会通过观察说话人的唇部动作来辅助对语音的识别,当... 详细信息

唇语识别是指利用计算机分析人说话的视频并根据说话人嘴唇运动的情况来自动识别其说话内容。唇语识别得以实现的基础在于唇动视觉信息是说话内容的重要载体,普通人在与人交流的过程中会通过观察说话人的唇部动作来辅助对语音的识别,当说话人处于嘈杂环境中时,唇动视觉信息更是成为了识别说话内容的重要的甚至是唯一的依据。正是由于唇动视觉信息的重要性,如果设计合理的视觉分析算法,计算机就能以较高的正确率实现唇语识别。受不同说话者不同的嘴唇外观、不同的说话习惯、不同的背景信息影响,即使说话者说了相同的内容,唇动视觉信息也会相差很大,这给唇语识别带来了很大的挑战。为了解决唇语视觉信息多样性的问题,本文提出了基于Long Short-Term Memory（LSTM）的新的唇语识别方法,试图从唇语视频中自动学习具有不变性的空间-时序特征,提高唇语识别的准确率。本文在公开的唇语数据集GRID、MIRACL-VC和OuluVS上对本文的方法做了针对分割的单词或短语的说话者独立的唇语识别评估。在GRID和MIRACL-VC上,本文的方法达到的准确率比传统方法至少高30%,在OuluVS上,本文的方法达到的准确率接近于最优结果。本文的主要贡献如下:1.不同于以往大多数的方法从嘴唇外表信息入手,本文研究了用嘴唇关键点坐标描述嘴唇形变信息作为唇语视频的视觉特征,它具有类内一致性和类间区分性的特点。2.本文提出了利用LSTM对唇语视觉特征进行处理,它能学习具有区分性和泛化性的空间-时序特征。实验结果表明,本文提出的基于LSTM的唇语识别方法有效地解决了唇语视觉信息多样性的问题。3.本文讨论了 LSTM适用于唇语识别任务的原因,依照本文的方法,可以利用LSTM完成其它类似唇语识别的序列任务。

关键词：唇语识别 Long Short-Term Memory 计算机视觉

基于时空卷积神经网络和双向门循环单元的唇语识别

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于时空卷积神经网络和双向门循环单元的唇语识别

作者：申一帆武汉大学

学位级别：硕士

唇语识别技术是指仅根据说话人唇部运动的视觉信息,从而识别出其所说的文本内容,目前在唇语交互控制、静音信息输入、噪声环境下的说话识别和静音视频的处理识别有着重要应用价值,对辅助身份验证、公共安全领域和帮助聋哑人沟通方面也... 详细信息

唇语识别技术是指仅根据说话人唇部运动的视觉信息,从而识别出其所说的文本内容,目前在唇语交互控制、静音信息输入、噪声环境下的说话识别和静音视频的处理识别有着重要应用价值,对辅助身份验证、公共安全领域和帮助聋哑人沟通方面也有着很重要的研究意义。然而,唇语识别任务对人类而言难度极大,传统的机器学习方法和模型存在特征提取费时、识别效果欠佳等问题。传统方法需要花费大量人工来标记唇语视频数据,识别率取决于特征提取的好坏。而且中文唇语数据集不多,数据体量较小,基于这种小规模数据集的研究结果难以拓展到大数据集上,应用价值有限。针对以上问题,本文的主要思想是,先自建大量中文唇语数据集,再用多层STCNN和多层Bi-GRU的网络结构来提取唇语特征,进行端到端训练,从而实现句子级别的中文唇语识别。本文的主要研究内容及贡献如下:（1）实现了一个基于ios系统的客户端Lipreading Video来自建中文唇语数据集,该客户端支持不同用户录制唇语视频数据,用户可以根据客户端显示的文字录制唇语视频,并选择回看、重新录制或上传视频到服务器。系统采用VAD算法对采集到的中文唇语视频数据进行检测和分割,自动配上标记出说话人说每个词语的起始和结束时间戳;并利用基于Haar-like特征的AdaBoost级联分类器进行人脸检测,进而定位到人脸并提取我们所需的唇部区域。该方案能够批量标记唇语视频数据,节省了大量的人工量。（2）提出了一个端到端的中文唇语识别网络模型——ChineseLipNet,对于输入的唇语视频数据,先用多层STCNN提取特征,并用最大池化（Max-Pooling）进行特征降维,不用手工标记模型特征点,就能提取到非常好的特征。多层STCNN处理后输出到多层Bi-GRU对提取的特征进行训练,双向GRU结构能够同时学习上下文信息,输出该句对应的文本,最后采用一个全连接层和softmax进行预测输出。本文对所提出的网络模型进行了相关实验和对比分析。在唇语识别结果方面,将唇语识别模型ChineseLipNet与人类唇语识别和对比网络AlexNet模型、VGG模型进行对比分析。实验结果表明,本文提出的ChineseLipNet模型的识别准确率大幅度超过人类唇语识别的准确率,并且优于AlexNet模型和VGG模型。同时,ChineseLipNet模型网络参数规模更小,训练时间更短。因此,ChineseLipNet模型不仅适合训练大规模唇语数据集,而且更适合迁移到便携式终端设备进行识别,有较高的应用价值。

关键词：深度学习唇语识别中文唇读时空卷积神经网络双边门循环单元