检索结果-南通市图书馆

基于Transformer-LSTM的闽南语唇语识别

在线全文

学校读者我要写书评

暂无评论

泉州师范学院学报 2024年第2期42卷 10-17页

作者：曾蔚罗仙仙王鸿伟泉州师范学院数学与计算机科学学院福建泉州362000 福建省大数据管理新技术与知识工程重点实验室福建泉州362000 智能计算与信息处理福建省高等学校重点实验室福建泉州362000

针对端到端句子级闽南语唇语识别的问题,提出一种基于Transformer和长短时记忆网络(LSTM)的编解码模型.编码器采用时空卷积神经网络及Transformer编码器用于提取唇读序列时空特征,解码器采用长短时记忆网络并结合交叉注意力机制用于文... 详细信息

针对端到端句子级闽南语唇语识别的问题,提出一种基于Transformer和长短时记忆网络(LSTM)的编解码模型.编码器采用时空卷积神经网络及Transformer编码器用于提取唇读序列时空特征,解码器采用长短时记忆网络并结合交叉注意力机制用于文本序列预测.最后,在自建闽南语唇语数据集上进行实验.实验结果表明:模型能有效地提高唇语识别的准确率.

关键词：唇语识别闽南语 Transformer 长短时记忆网络(LSTM) 用时空卷积神经网络注意力机制端到端模型

在线全文

学校读者我要写书评

暂无评论

针对唇语识别的上下文相关性蒸馏方法

计算机辅助设计与图形学学报 2022年第10期34卷 1559-1566页

作者：赵雅冯尊磊王慧琼宋明黎浙江大学计算机科学与技术学院杭州310027 浙江大学软件学院杭州310027 浙江大学宁波研究院宁波315100 之江实验室杭州311121

针对唇语识别模型的性能受到数据集大小限制的问题,提出一种跨模态知识蒸馏方法C2KD.C2KD将语音识别模型的多尺度上下文相关性知识蒸馏到唇语识别模型中.首先,利用Transformer模型的自注意力模块得到上下文相关性知识;其次,使用层映射... 详细信息

针对唇语识别模型的性能受到数据集大小限制的问题,提出一种跨模态知识蒸馏方法C2KD.C2KD将语音识别模型的多尺度上下文相关性知识蒸馏到唇语识别模型中.首先,利用Transformer模型的自注意力模块得到上下文相关性知识;其次,使用层映射策略来决定从语音识别模型的哪一层提取知识;最后,使用自适应训练策略来根据唇语识别模型的性能动态地进行知识的传递.C2KD在数据集LRS2和LRS3上取得了优异的表现,词错误率分别比基线方法低2.0%和2.7%.

关键词：唇语识别知识蒸馏跨模态

基于Vision Transformer的中文唇语识别

在线全文

学校读者我要写书评

暂无评论

模式识别与人工智能 2022年第12期35卷 1111-1121页

作者：薛峰洪自坤李书杰李雨谢胤岑合肥工业大学软件学院合肥230601 合肥工业大学计算机与信息学院合肥230601

唇语识别作为一种将唇读视频转换为文本的多模态任务,旨在理解说话者在无声情况下表达的意思.目前唇语识别主要利用卷积神经网络提取唇部视觉特征,捕获短距离像素关系,难以区分相似发音字符的唇形.为了捕获视频图像中唇部区域像素之间... 详细信息

唇语识别作为一种将唇读视频转换为文本的多模态任务,旨在理解说话者在无声情况下表达的意思.目前唇语识别主要利用卷积神经网络提取唇部视觉特征,捕获短距离像素关系,难以区分相似发音字符的唇形.为了捕获视频图像中唇部区域像素之间的长距离关系,文中提出基于Vision Transformer(ViT)的端到端中文句子级唇语识别模型,融合ViT和门控循环单元(Gate Recurrent Unit,GRU),提高对嘴唇视频的视觉时空特征提取能力.具体地,首先使用ViT的自注意力模块提取嘴唇图像的全局空间特征,再通过GRU对帧序列时序建模,最后使用基于注意力机制的级联序列到序列模型实现对拼音和汉字语句的预测.在中文唇语识别数据集CMLR上的实验表明,文中模型的汉字错误率较低.

关键词：唇语识别 Vision Transformer(ViT) 深度神经网络编解码器注意力机制特征提取

LipSense:基于CSI相位差的自适应唇语识别方法

在线全文

学校读者我要写书评

暂无评论

传感技术学报 2023年第3期36卷 419-426页

作者：陶志勇陈露刘影郭京辽宁工程技术大学电子与信息工程学院辽宁葫芦岛125105 国网河南省电力公司安阳供电公司河南安阳455000

针对目前基于CSI幅度的行为识别方法对细粒度动作不敏感及传统的动作分割算法存在动作起止点判断不准确的问题,提出了一种基于相位差的自适应唇语识别方法。首先,利用MIMO系统的空间分集,构造出对细粒度动作更敏感的相位差信号,解决了... 详细信息

针对目前基于CSI幅度的行为识别方法对细粒度动作不敏感及传统的动作分割算法存在动作起止点判断不准确的问题,提出了一种基于相位差的自适应唇语识别方法。首先,利用MIMO系统的空间分集,构造出对细粒度动作更敏感的相位差信号,解决了细粒度动作感知不易的问题;然后利用OFDM子载波的频率分集来补偿小尺度衰落效应,以增强信号的空间感知能力;再次,通过研究唇语信号独特的变化模式,提出基于迭代方差曲线的自适应唇语分割模型;最后设计用于表示和匹配唇语特征的识别技术。在真实环境下的实验表明,所提方法在单人情况下平均识别精度达到94.3%,三人的综合识别准确率可达85.7%。在实验者佩戴金属饰品、网络被他人共享、以及周围有人移动等对比实验下,系统仍能实现较高的准确率。

关键词：唇语识别信道状态信息相位差自适应分割迭代方差

HSKDLR:同类自知识蒸馏的轻量化唇语识别方法

在线全文

学校读者我要写书评

暂无评论

计算机科学与探索 2023年第11期17卷 2689-2702页

作者：马金林刘宇灏马自萍巩元文朱艳彬北方民族大学计算机科学与工程学院银川750021 图像图形智能信息处理国家民委重点实验室银川750021 北方民族大学数学与信息科学学院银川750021

针对唇语识别模型的识别率较低和计算量较大的问题,提出一种同类自知识蒸馏的轻量化唇语识别模型(HSKDLR)。首先,提出关注唇部图像空间特征的S-SE注意力模块,用其构建提取唇部图像通道特征和空间特征的i-Ghost Bottleneck模块,以提升唇... 详细信息

针对唇语识别模型的识别率较低和计算量较大的问题,提出一种同类自知识蒸馏的轻量化唇语识别模型(HSKDLR)。首先,提出关注唇部图像空间特征的S-SE注意力模块,用其构建提取唇部图像通道特征和空间特征的i-Ghost Bottleneck模块,以提升唇语识别模型的准确率;其次,基于i-Ghost Bottleneck构建唇语识别模型,该模型通过优化瓶颈结构的组合方式降低模型计算量;然后,为提升模型准确率,减少模型运行时间,提出同类自知识蒸馏(HSKD)的模型训练方法;最后,使用同类自知识蒸馏方法训练唇语识别模型,并检验其识别性能。实验结果表明:与其他方法相比,HSKDLR具有更高的识别准确率和更低的计算量,在LRW数据集上的准确率达87.3%,浮点数运算量低至2.564 GFLOPs,参数量低至3.8723×107;同类自知识蒸馏可被应用于大多数唇语识别模型,帮助其有效提升识别准确率,减少训练时间。

关键词：唇语识别轻量化知识蒸馏自知识 Ghost Bottleneck

在线全文

学校读者我要写书评

暂无评论

基于中文发音视觉特点的唇语识别方法研究

计算机工程与应用 2022年第4期58卷 157-162页

作者：何珊袁家斌陆要要南京航空航天大学计算机科学与技术学院南京211106 南京航空航天大学信息化处南京211106

随着深度学习的发展,唇语识别技术在英文方面取得了长足的进步,但针对中文无论是在数据集丰富性还是识别准确率上均存在一定的落差。通过分析中文发音的视觉特点,提出"视觉拼音",意图规避中文在视觉表达上的歧义性。为了验证视觉拼音的... 详细信息

随着深度学习的发展,唇语识别技术在英文方面取得了长足的进步,但针对中文无论是在数据集丰富性还是识别准确率上均存在一定的落差。通过分析中文发音的视觉特点,提出"视觉拼音",意图规避中文在视觉表达上的歧义性。为了验证视觉拼音的有效性,建立了中文句子级唇语识别模型CHSLR-VP。该模型是一个端到端结构,其中以视觉拼音为媒介,将视频帧序列转换成最终的汉字语句。通过实验得出,相比于其他唇语识别方法,基于视觉拼音建立的CHSLR-VP模型性能更优,证明了视觉拼音的参与可明显提高中文唇语识别的准确率,为将来的相关工作提供了基准。

关键词：唇语识别视觉拼音深度学习卷积神经网络(CNN) 序列到序列模型注意机制

在线全文

学校读者我要写书评

暂无评论

解耦同类自知识蒸馏的轻量化唇语识别方法

北京航空航天大学学报 2023年

作者：马金林刘宇灏马自萍郭兆伟吕鑫北方民族大学图像图形智能处理国家民委重点实验室北方民族大学计算机科学与工程学院北方民族大学数学与信息科学学院

针对唇语识别模型因参数量和计算量较大而无法在移动终端和边缘设备上应用的问题，提出基于解耦同类自知识蒸馏和GhostNet-TSM的唇语识别方法。具体地：首先，提出具有时序特征提取能力的GhostNet-TSM网络；其次，将同类自知识蒸馏的特... 详细信息

针对唇语识别模型因参数量和计算量较大而无法在移动终端和边缘设备上应用的问题，提出基于解耦同类自知识蒸馏和GhostNet-TSM的唇语识别方法。具体地：首先，提出具有时序特征提取能力的GhostNet-TSM网络；其次，将同类自知识蒸馏的特征解耦为目标类特征和非目标类特征，分别设置损失函数，以提高模型的识别精度；最后，使用解耦同类自知识蒸馏方法在LRW和LIP350数据集上进行模型训练，并在OuluVs上进行验证。实验结果表明，GhostNet-TSM在LRW数据集上达到85.2％的识别准确率超过了大多非轻量化模型，浮点数计算量和模型参数量降低至0.988GFLOPs和20.310 MB。

关键词：唇语识别知识蒸馏轻量化 GhostNet TSM模块

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于单标签射频识别的唇语识别算法

计算机应用 2022年第6期42卷 1762-1769页

作者：张瑛琪彭大卫李森孙莹牛强中国矿业大学计算机科学与技术学院江苏徐州221116

近年来,有研究提出了使用多个定制且可拉伸的射频识别(RFID)标签进行语音识别的无线平台,但该标签难以精准捕捉拉伸引起的大频率偏移,而且需要探测多个标签,标签脱落或自然磨损时还须重新校准。针对以上问题,提出基于单标签RFID的唇语... 详细信息

近年来,有研究提出了使用多个定制且可拉伸的射频识别(RFID)标签进行语音识别的无线平台,但该标签难以精准捕捉拉伸引起的大频率偏移,而且需要探测多个标签,标签脱落或自然磨损时还须重新校准。针对以上问题,提出基于单标签RFID的唇语识别算法,将灵活、易于隐藏且没有侵入性的单个通用RFID标签贴在脸上,即使用户不发出声音,仅依靠面部的微动作也可进行唇语识别。首先建立模型处理RFID阅读器接收的单个标签随时间和频率响应的接收信号强度(RSS)和相位变化,然后采用高斯函数对原始数据的噪点进行平滑去噪预处理,再采用动态时间规整(DTW)算法对收集到的信号特征进行评估分析,以解决发音长短不匹配的问题;最后创建无线语音识别系统来识别区分与声音相对应的面部表情,从而达到识别唇语的目的。实验结果表明,对于识别不同用户的200组数字信号特征,该方法的RSS准确率可以达到86.5%以上。

关键词：射频识别唇语识别单标签接收信号强度动态时间规整

在线全文

学校读者我要写书评

暂无评论

基于单标签RFID的唇语识别算法

计算机应用 2022年

作者：张瑛琪彭大卫李森孙莹牛强中国矿业大学计算机科学与技术学院

近年来，有研究提出了使用多个定制且可拉伸的射频识别技术(RFID)标签进行语音识别的无线平台，但该标签精准捕捉拉伸引起的大频率偏移比较困难，且需要探测多个标签，标签脱落或自然磨损时须重新校准。针对以上问题，提出基于单标签RFI... 详细信息

近年来，有研究提出了使用多个定制且可拉伸的射频识别技术(RFID)标签进行语音识别的无线平台，但该标签精准捕捉拉伸引起的大频率偏移比较困难，且需要探测多个标签，标签脱落或自然磨损时须重新校准。针对以上问题，提出基于单标签RFID的唇语识别算法，将灵活、易于隐藏且没有侵入性的单个通用RFID标签贴在脸上，即使用户不发出声音仅依靠面部的微动作也可进行唇语识别。建立模型处理RFID阅读器接收的单个标签随时间和频率响应的接收信号强度(RSS)和相位变化，采用高斯函数对原始数据的噪点进行平滑去噪预处理，采用动态时间规整(DTW)算法对收集到的信号特征进行评估分析，解决了发音长短不匹配的问题，并创建无线语音识别系统来识别区分与声音相对应的面部表情，从而达到识别唇语的目的。结果表明，对于识别不同用户的200组数字信号特征，RSS的准确率可以达到86.5%以上。

关键词：射频识别唇语识别单标签接收信号强度动态时间规整