检索结果-南通市图书馆

基于Vision Transformer的中文唇语识别

在线全文

学校读者我要写书评

暂无评论

模式识别与人工智能 2022年第12期35卷 1111-1121页

作者：薛峰洪自坤李书杰李雨谢胤岑合肥工业大学软件学院合肥230601 合肥工业大学计算机与信息学院合肥230601

唇语识别作为一种将唇读视频转换为文本的多模态任务,旨在理解说话者在无声情况下表达的意思.目前唇语识别主要利用卷积神经网络提取唇部视觉特征,捕获短距离像素关系,难以区分相似发音字符的唇形.为了捕获视频图像中唇部区域像素之间... 详细信息

唇语识别作为一种将唇读视频转换为文本的多模态任务,旨在理解说话者在无声情况下表达的意思.目前唇语识别主要利用卷积神经网络提取唇部视觉特征,捕获短距离像素关系,难以区分相似发音字符的唇形.为了捕获视频图像中唇部区域像素之间的长距离关系,文中提出基于Vision Transformer(ViT)的端到端中文句子级唇语识别模型,融合ViT和门控循环单元(Gate Recurrent Unit,GRU),提高对嘴唇视频的视觉时空特征提取能力.具体地,首先使用ViT的自注意力模块提取嘴唇图像的全局空间特征,再通过GRU对帧序列时序建模,最后使用基于注意力机制的级联序列到序列模型实现对拼音和汉字语句的预测.在中文唇语识别数据集CMLR上的实验表明,文中模型的汉字错误率较低.

关键词：唇语识别 Vision Transformer(ViT) 深度神经网络编解码器注意力机制特征提取

在线全文

学校读者我要写书评

暂无评论

唇语识别的视觉特征提取方法综述

计算机科学与探索 2021年第12期15卷 2256-2275页

作者：马金林巩元文马自萍陈德光朱艳彬刘宇灏北方民族大学计算机科学与工程学院银川750021 图像图形智能处理国家民委重点实验室银川750021 北方民族大学数学与信息科学学院银川750021

现有唇语识别研究多专注于提高识别精度、研究多模态输入特征等方面,对提高唇部视觉特征的有效性关注不多。而唇部的视觉信息在视觉语音识别和唇语识别中起着关键作用,尤其在音频被破坏或无音频信息时,唇部视觉信息尤为重要。如何获取... 详细信息

现有唇语识别研究多专注于提高识别精度、研究多模态输入特征等方面,对提高唇部视觉特征的有效性关注不多。而唇部的视觉信息在视觉语音识别和唇语识别中起着关键作用,尤其在音频被破坏或无音频信息时,唇部视觉信息尤为重要。如何获取准确有效的唇部视觉特征是当前唇语识别的难点工作之一。从唇语数据集、传统视觉特征提取方法、视觉特征提取的深度学习方法三方面综述了唇语识别方向近年来的最新研究工作:首先,总结了唇语识别数据集,将唇语数据集分为正视图和多视图两种类型,并总结整理两类数据集的特点、局限性和下载地址;其次,从像素点、形状和混合特征的角度介绍了唇部视觉特征提取的传统方法,重点介绍各方法的基本思想、网络结构和特点;然后,介绍了唇部视觉特征提取的深度学习方法,重点介绍2D CNN、3D CNN、2D CNN与3D CNN相结合、其他神经网络四种深度学习方法的网络结构和优缺点,并比较了这些方法在公开数据集上的性能表现;最后,对唇部视觉特征提取方法所面临的挑战和未来研究趋势进行了展望。

关键词：唇语识别视觉特征深度学习

在线全文

学校读者我要写书评

暂无评论

唇语识别的深度学习方法综述

计算机工程与应用 2021年第24期57卷 61-73页

作者：马金林朱艳彬马自萍巩元文陈德光刘宇灏北方民族大学计算机科学与工程学院银川750021 图像图形智能信息处理国家民委重点实验室银川750021 北方民族大学数学与信息科学学院银川750021

随着深度学习的不断发展,唇语识别领域的研究取得了重大进展,涌现了许多唇语识别的深度学习算法。依据识别对象的连续性,将唇语识别分为孤立唇语识别和连续唇语识别,并对各识别任务的深度学习方法进行了详细和深入的分析总结。从孤立唇... 详细信息

随着深度学习的不断发展,唇语识别领域的研究取得了重大进展,涌现了许多唇语识别的深度学习算法。依据识别对象的连续性,将唇语识别分为孤立唇语识别和连续唇语识别,并对各识别任务的深度学习方法进行了详细和深入的分析总结。从孤立唇语识别的深度学习方法和连续唇语识别的深度方法两个方面介绍了主流唇语识别方法,并对各方法的优缺点和性能进行比较;对不同数据集下代表性方法的特点和性能进行比较,对两类方法的优缺点和适用范围进行阐述;讨论了唇语识别方法存在的问题和挑战,并对唇语识别方法的研究趋势进行了展望。

关键词：唇语识别深度学习卷积神经网络注意力机制

HSKDLR:同类自知识蒸馏的轻量化唇语识别方法

在线全文

学校读者我要写书评

暂无评论

计算机科学与探索 2023年第11期17卷 2689-2702页

作者：马金林刘宇灏马自萍巩元文朱艳彬北方民族大学计算机科学与工程学院银川750021 图像图形智能信息处理国家民委重点实验室银川750021 北方民族大学数学与信息科学学院银川750021

针对唇语识别模型的识别率较低和计算量较大的问题,提出一种同类自知识蒸馏的轻量化唇语识别模型(HSKDLR)。首先,提出关注唇部图像空间特征的S-SE注意力模块,用其构建提取唇部图像通道特征和空间特征的i-Ghost Bottleneck模块,以提升唇... 详细信息

针对唇语识别模型的识别率较低和计算量较大的问题,提出一种同类自知识蒸馏的轻量化唇语识别模型(HSKDLR)。首先,提出关注唇部图像空间特征的S-SE注意力模块,用其构建提取唇部图像通道特征和空间特征的i-Ghost Bottleneck模块,以提升唇语识别模型的准确率;其次,基于i-Ghost Bottleneck构建唇语识别模型,该模型通过优化瓶颈结构的组合方式降低模型计算量;然后,为提升模型准确率,减少模型运行时间,提出同类自知识蒸馏(HSKD)的模型训练方法;最后,使用同类自知识蒸馏方法训练唇语识别模型,并检验其识别性能。实验结果表明:与其他方法相比,HSKDLR具有更高的识别准确率和更低的计算量,在LRW数据集上的准确率达87.3%,浮点数运算量低至2.564 GFLOPs,参数量低至3.8723×107;同类自知识蒸馏可被应用于大多数唇语识别模型,帮助其有效提升识别准确率,减少训练时间。

关键词：唇语识别轻量化知识蒸馏自知识 Ghost Bottleneck

LipSense:基于CSI相位差的自适应唇语识别方法

在线全文

学校读者我要写书评

暂无评论

传感技术学报 2023年第3期36卷 419-426页

作者：陶志勇陈露刘影郭京辽宁工程技术大学电子与信息工程学院辽宁葫芦岛125105 国网河南省电力公司安阳供电公司河南安阳455000

针对目前基于CSI幅度的行为识别方法对细粒度动作不敏感及传统的动作分割算法存在动作起止点判断不准确的问题,提出了一种基于相位差的自适应唇语识别方法。首先,利用MIMO系统的空间分集,构造出对细粒度动作更敏感的相位差信号,解决了... 详细信息

针对目前基于CSI幅度的行为识别方法对细粒度动作不敏感及传统的动作分割算法存在动作起止点判断不准确的问题,提出了一种基于相位差的自适应唇语识别方法。首先,利用MIMO系统的空间分集,构造出对细粒度动作更敏感的相位差信号,解决了细粒度动作感知不易的问题;然后利用OFDM子载波的频率分集来补偿小尺度衰落效应,以增强信号的空间感知能力;再次,通过研究唇语信号独特的变化模式,提出基于迭代方差曲线的自适应唇语分割模型;最后设计用于表示和匹配唇语特征的识别技术。在真实环境下的实验表明,所提方法在单人情况下平均识别精度达到94.3%,三人的综合识别准确率可达85.7%。在实验者佩戴金属饰品、网络被他人共享、以及周围有人移动等对比实验下,系统仍能实现较高的准确率。

关键词：唇语识别信道状态信息相位差自适应分割迭代方差

在线全文

学校读者我要写书评

暂无评论

解耦同类自知识蒸馏的轻量化唇语识别方法

北京航空航天大学学报 2023年

作者：马金林刘宇灏马自萍郭兆伟吕鑫北方民族大学图像图形智能处理国家民委重点实验室北方民族大学计算机科学与工程学院北方民族大学数学与信息科学学院

针对唇语识别模型因参数量和计算量较大而无法在移动终端和边缘设备上应用的问题，提出基于解耦同类自知识蒸馏和GhostNet-TSM的唇语识别方法。具体地：首先，提出具有时序特征提取能力的GhostNet-TSM网络；其次，将同类自知识蒸馏的特... 详细信息

针对唇语识别模型因参数量和计算量较大而无法在移动终端和边缘设备上应用的问题，提出基于解耦同类自知识蒸馏和GhostNet-TSM的唇语识别方法。具体地：首先，提出具有时序特征提取能力的GhostNet-TSM网络；其次，将同类自知识蒸馏的特征解耦为目标类特征和非目标类特征，分别设置损失函数，以提高模型的识别精度；最后，使用解耦同类自知识蒸馏方法在LRW和LIP350数据集上进行模型训练，并在OuluVs上进行验证。实验结果表明，GhostNet-TSM在LRW数据集上达到85.2％的识别准确率超过了大多非轻量化模型，浮点数计算量和模型参数量降低至0.988GFLOPs和20.310 MB。

关键词：唇语识别知识蒸馏轻量化 GhostNet TSM模块

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于光流与注意力机制的句级唇语识别

电子器件 2023年第5期46卷 1339-1348页

作者：许文稼李克常州机电职业技术学院电气工程学院江苏常州213164 东南大学信息科学与工程学院江苏南京210096

唇语识别技术是一种利用视觉线索理解人类语言的手段,在人机交互、安防验证、公共安全等领域都有着广泛的应用空间。现阶段的相关研究大多难以有效地完成语句级别的唇语识别任务。设计了一种基于光流与注意力机制的句级唇语识别系统,能... 详细信息

唇语识别技术是一种利用视觉线索理解人类语言的手段,在人机交互、安防验证、公共安全等领域都有着广泛的应用空间。现阶段的相关研究大多难以有效地完成语句级别的唇语识别任务。设计了一种基于光流与注意力机制的句级唇语识别系统,能够将连续的唇读视频逐句解码为文字。系统由前端的唇读端点检测模块和端对端的神经网络构成,网络的图像特征提取模块基于3D-ResNet18与空间-通道双重注意力机制,时间序列分类模块基于Transformer和集束搜索解码器。唇读端点检测模块基于光流的阈值变化进行判别,对连续输入神经网络的唇读视频按句进行切分。神经网络的训练采用基于标签平滑的KL散度作为损失,并采取样本长度递增、学习率预热、逐级迁移学习等改进策略。模型的评估在英文数据集GRID和中文数据集CMLR上进行,在错误率上相较于基线结果分别降低了3.11%和1.21%。

关键词：唇语识别注意力机制编码器-解码器光流

在线全文

学校读者我要写书评

暂无评论

基于单标签射频识别的唇语识别算法

计算机应用 2022年第6期42卷 1762-1769页

作者：张瑛琪彭大卫李森孙莹牛强中国矿业大学计算机科学与技术学院江苏徐州221116

近年来,有研究提出了使用多个定制且可拉伸的射频识别(RFID)标签进行语音识别的无线平台,但该标签难以精准捕捉拉伸引起的大频率偏移,而且需要探测多个标签,标签脱落或自然磨损时还须重新校准。针对以上问题,提出基于单标签RFID的唇语... 详细信息

近年来,有研究提出了使用多个定制且可拉伸的射频识别(RFID)标签进行语音识别的无线平台,但该标签难以精准捕捉拉伸引起的大频率偏移,而且需要探测多个标签,标签脱落或自然磨损时还须重新校准。针对以上问题,提出基于单标签RFID的唇语识别算法,将灵活、易于隐藏且没有侵入性的单个通用RFID标签贴在脸上,即使用户不发出声音,仅依靠面部的微动作也可进行唇语识别。首先建立模型处理RFID阅读器接收的单个标签随时间和频率响应的接收信号强度(RSS)和相位变化,然后采用高斯函数对原始数据的噪点进行平滑去噪预处理,再采用动态时间规整(DTW)算法对收集到的信号特征进行评估分析,以解决发音长短不匹配的问题;最后创建无线语音识别系统来识别区分与声音相对应的面部表情,从而达到识别唇语的目的。实验结果表明,对于识别不同用户的200组数字信号特征,该方法的RSS准确率可以达到86.5%以上。

关键词：射频识别唇语识别单标签接收信号强度动态时间规整

在线全文

学校读者我要写书评

暂无评论

基于单标签RFID的唇语识别算法

计算机应用 2022年

作者：张瑛琪彭大卫李森孙莹牛强中国矿业大学计算机科学与技术学院

近年来，有研究提出了使用多个定制且可拉伸的射频识别技术(RFID)标签进行语音识别的无线平台，但该标签精准捕捉拉伸引起的大频率偏移比较困难，且需要探测多个标签，标签脱落或自然磨损时须重新校准。针对以上问题，提出基于单标签RFI... 详细信息

近年来，有研究提出了使用多个定制且可拉伸的射频识别技术(RFID)标签进行语音识别的无线平台，但该标签精准捕捉拉伸引起的大频率偏移比较困难，且需要探测多个标签，标签脱落或自然磨损时须重新校准。针对以上问题，提出基于单标签RFID的唇语识别算法，将灵活、易于隐藏且没有侵入性的单个通用RFID标签贴在脸上，即使用户不发出声音仅依靠面部的微动作也可进行唇语识别。建立模型处理RFID阅读器接收的单个标签随时间和频率响应的接收信号强度(RSS)和相位变化，采用高斯函数对原始数据的噪点进行平滑去噪预处理，采用动态时间规整(DTW)算法对收集到的信号特征进行评估分析，解决了发音长短不匹配的问题，并创建无线语音识别系统来识别区分与声音相对应的面部表情，从而达到识别唇语的目的。结果表明，对于识别不同用户的200组数字信号特征，RSS的准确率可以达到86.5%以上。

关键词：射频识别唇语识别单标签接收信号强度动态时间规整