检索结果-南通市图书馆

基于DSConvBiGRU网络和热电堆阵列的动态手势识别方法

在线全文

学校读者我要写书评

暂无评论

计量学报 2024年第6期45卷 795-805页

作者：顾亮于莲芝上海理工大学光电信息与计算机工程学院上海200093

提出了适用于嵌入式系统并融合深度可分离卷积神经网络与双向门控循环单元的DSConvBiGRU网络模型,将其用于动态手势序列的分类,设计并实现了一种使用低分辨率热电堆阵列传感器的动态手势识别解决方案,构建了动态手势数据集并在公开网站... 详细信息

提出了适用于嵌入式系统并融合深度可分离卷积神经网络与双向门控循环单元的DSConvBiGRU网络模型,将其用于动态手势序列的分类,设计并实现了一种使用低分辨率热电堆阵列传感器的动态手势识别解决方案,构建了动态手势数据集并在公开网站发布,完成了预训练网络模型在Raspberry Pi边缘端的部署。系统对传感器输出的连续20个温度矩阵进行区间映射、背景减除、Lanczos插值和Otsu二值化预处理得到单个动态手势序列,再由预训练的DSConvBiGRU网络进行分类。实验结果表明:网络模型在测试集上识别准确率为99.291%,在边缘端预处理耗时5.513 ms,推理耗时8.231 ms,该系统满足低功耗、高精度和实时性的设计需求。

关键词：机器视觉光电检测动态手势识别热电堆阵列深度可分离卷积神经网络双向门控循环单元

有机凝胶肌电电极制备及其在动态手势识别的应用

在线全文

学校读者我要写书评

暂无评论

中南大学学报(自然科学版) 2024年第6期 2153-2161页

作者：张建寰徐益鑫邓连钧徐周毅张陈涛厦门大学萨本栋微米纳米科学技术研究院

为了解决传统肌电电极与皮肤贴合度不佳，易造成运动伪影的问题，本文提出一种高离子导电、良好自黏附的有机凝胶作为电极检测肌电信号，并将其应用于动态手势动作的识别。首先，采用物理交联与化学交联结合的互贯穿网络结构，在生物相... 详细信息

为了解决传统肌电电极与皮肤贴合度不佳，易造成运动伪影的问题，本文提出一种高离子导电、良好自黏附的有机凝胶作为电极检测肌电信号，并将其应用于动态手势动作的识别。首先，采用物理交联与化学交联结合的互贯穿网络结构，在生物相容性的聚丙烯酰胺/海藻酸钠体系中加入单宁酸、氯化钠和甘油，获得聚丙烯酰胺/海藻酸钠/单宁酸有机凝胶；其次，测试制备的有机凝胶力学、导电及黏附等性能，并将其作为皮肤表面电极进行肌电信号的检测；最后，使用卷积神经网络算法将其应用于动态手势动作的识别。研究结果表明：制备的有机凝胶具有低弹性模量以及可逆自黏附能力，可实现与皮肤的保形黏附；有机凝胶具有7.7 kPa的弹性模量、310%的伸长率、2.81 mS/cm的离子导电率，并具有良好的自黏附性能以及可降解性，能够获得17.14 dB信噪比的高质量肌电信号，能够有效识别不同界面操作的动态动作及手语手势，平均识别率分别达95.04%和98.67%。该有机凝胶电极具有高信噪比，可有效识别动态手势，在人机交互、机器人遥操作领域具有广阔的应用前景。

关键词：肌电信号有机凝胶柔性电极动态手势识别

基于加权DTW的多特征分级融合动态手势识别

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

现代电子技术 2024年第10期47卷 79-85页

作者：陈潘华杭波孔明梁晓瑜中国计量大学计量测试工程学院浙江杭州310018

AR设备以第一视角获取的动态手势往往存在手掌角度偏转问题,各关节点位移轨迹相较正视角度发生变化,现有的手掌关节点位移特征无法有效识别,并且受限于AR设备性能,部分神经网络模型无法取得良好表现。针对该应用场景,提出一种使用多特... 详细信息

AR设备以第一视角获取的动态手势往往存在手掌角度偏转问题,各关节点位移轨迹相较正视角度发生变化,现有的手掌关节点位移特征无法有效识别,并且受限于AR设备性能,部分神经网络模型无法取得良好表现。针对该应用场景,提出一种使用多特征分级融合的手势识别方法。该方法构造位移、长度、角度三个特征对手势进行描述,并进行向量编码与归一化以消除抖动干扰。根据关节点与标准手势的相似度距离,仿照sigmoid函数分配关节点权重,以加权的动态时间规整(DTW)距离进行KNN匹配,并根据最佳的KNN置信度与特征优先级筛选出最可信的特征识别结果。实验结果表明:该方法能有效识别9种存在角度偏转的动态手势;相较于传统的位移特征方法,该方法的平均准确率提高了4%,能有效应对手掌偏转情况下的动态手势识别问题。

关键词：动态手势识别多特征融合 DTW算法关节点位移特征 KNN分类

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于视觉的动态手势识别技术综述

计算机测量与控制 2024年

作者：付智凯李文新罗新奎兰州空间技术物理研究所

动态手势识别是计算机视觉领域较为热门的任务之一，受到了研究者的广泛关注；动态手势识别技术在自动驾驶、虚拟现实和人机交互等诸多领域展现出很高的应用潜力；手势是在虚拟空间中与其他人交换信息、指导机器人在恶劣环境中执行特定... 详细信息

动态手势识别是计算机视觉领域较为热门的任务之一，受到了研究者的广泛关注；动态手势识别技术在自动驾驶、虚拟现实和人机交互等诸多领域展现出很高的应用潜力；手势是在虚拟空间中与其他人交换信息、指导机器人在恶劣环境中执行特定任务或与计算机交互的一种直观而理想的方式；调研归纳了一些常用的动态手势数据集，对动态手势数据集的模态、数据量、应用场景进行了总结与分析；从使用方法的网络类别出发，综述了基于视觉的动态手势识别技术研究进展，重点介绍归纳了基于深度学习的方法，对基于卷积神经网络、循环神经网络以及图神经网络的方法进行了整理总结与性能比较；最后对基于视觉的动态手势识别的研究方向进行了展望。

关键词：计算机视觉人机交互动态手势识别深度学习网络手势数据集

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于骨架掩膜图像的动态手势识别算法

智能计算机与应用 2024年第4期14卷 226-231页

作者：杨子恢何宏上海理工大学健康科学与工程学院上海200093

动态手势识别是人机交互领域的重要问题,同时也是虚拟现实、远程医疗、手语识别等领域的关键技术。针对动态手势识别中不同人存在手形差异以及同类动作速度不一致的问题,本文提出一种基于骨架掩膜图像的动态手势识别算法。首先对源视频... 详细信息

动态手势识别是人机交互领域的重要问题,同时也是虚拟现实、远程医疗、手语识别等领域的关键技术。针对动态手势识别中不同人存在手形差异以及同类动作速度不一致的问题,本文提出一种基于骨架掩膜图像的动态手势识别算法。首先对源视频的每一帧手势图像进行骨架提取以及阈值化处理得到手部骨架掩膜图像。接着利用卷积神经网络对掩膜后的骨架图像提取静态空间特征,并输入门控循环单元进行时间上的动态空间特征提取。最后,在全连接层中实现手势分类。该方法有效解决了传统动态手势识别中的空间关系复杂性和时间可变性问题。实验结果证明,本文提出的方法在RWTH数据集上取得了95.52%的准确率,具有良好的识别性能和应用前景。

关键词：动态手势识别深度学习掩膜图像时空特征

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

多尺度时空特征融合的动态手势识别网络

电子与信息学报 2023年第7期45卷 2614-2622页

作者：刘杰王月田明哈尔滨理工大学测控技术与通信工程学院哈尔滨150080 中国电信股份有限公司黑龙江分公司哈尔滨150040

由于动态手势数据具有时间复杂性以及空间复杂性,传统的机器学习算法难以提取准确的手势特征;现有的动态手势识别算法网络设计复杂、参数量大、手势特征提取不充分。为解决以上问题,该文提出一种基于卷积视觉自注意力模型(CvT)的多尺度... 详细信息

由于动态手势数据具有时间复杂性以及空间复杂性,传统的机器学习算法难以提取准确的手势特征;现有的动态手势识别算法网络设计复杂、参数量大、手势特征提取不充分。为解决以上问题,该文提出一种基于卷积视觉自注意力模型(CvT)的多尺度时空特征融合网络。首先,将图片分类领域的CvT网络引入动态手势分类领域,用于提取单张手势图片的空间特征,将不同空间尺度的浅层特征与深层特征融合。其次,设计一种多时间尺度聚合模块,提取动态手势的时空特征,将CvT网络与多时间尺度聚合模块结合,抑制无效特征。最后为了弥补CvT网络中dropout层的不足,将R-Drop模型应用于多尺度时空特征融合网络。在Jester数据集上进行实验验证,与多种基于深度学习的动态手势识别方法进行对比,实验结果表明,该文方法在识别率上优于现有动态手势识别方法,在动态手势数据集Jester上识别率达到92.26%。

关键词：动态手势识别深度学习卷积视觉自注意力模型多尺度融合

基于注意力引导空域图卷积SRU的动态手势识别

在线全文

学校读者我要写书评

暂无评论

控制与决策 2023年第11期38卷 3083-3092页

作者：陈炫琦佘青山张波涛马玉良张建海杭州电子科技大学自动化学院杭州310018 浙江省脑机协同智能重点实验室杭州310018

基于手部骨骼的动态手势识别是计算机视觉和人机交互领域的一个研究热点.手势涉及的关节在空间上分布更紧密,相关性更强.针对目前基于骨骼的动态手势识别存在空间特征复杂、识别计算速率缓慢等问题,提出一种注意力引导空域图卷积简单循... 详细信息

基于手部骨骼的动态手势识别是计算机视觉和人机交互领域的一个研究热点.手势涉及的关节在空间上分布更紧密,相关性更强.针对目前基于骨骼的动态手势识别存在空间特征复杂、识别计算速率缓慢等问题,提出一种注意力引导空域图卷积简单循环单元(ASGC-SRU)网络.首先,将空域图卷积嵌入至SRU的门结构中,使得具有高速并行计算能力的SRU能够对复杂手势的时域和空域信息进行建模;然后,引入一种指关节注意力引导模块,使得更重要的指关节具有更高的关注度;最后,引入一种注意力增强空域图丢弃(ASD)的正则化方法,缓解网络过拟合的弊端.为验证所提出方法的有效性,在公认的动态手势数据集SHREC’17和DHG 14/28上进行大量实验,实验结果表明,所提出方法取得了较高的识别准确率,同时保持优良的计算效率.

关键词：动态手势识别图卷积简单循环单元注意力引导过拟合

在线全文

学校读者我要写书评

暂无评论

基于车载毫米波雷达动态手势识别网络

北京理工大学学报 2023年第5期43卷 493-498页

作者：董连飞马志雄朱西产同济大学汽车学院智能汽车研究所上海201804

基于Transformer提出一种车载毫米波雷达手势识别方法,可用于车内人员进行人机交互.毫米波雷达信号不受车内光照变化影响,同时能够保证乘客隐私.首先,毫米波雷达采样信号经过二维傅里叶变换和滤波获得距离—多普勒(RDM)和距离—角度图(R... 详细信息

基于Transformer提出一种车载毫米波雷达手势识别方法,可用于车内人员进行人机交互.毫米波雷达信号不受车内光照变化影响,同时能够保证乘客隐私.首先,毫米波雷达采样信号经过二维傅里叶变换和滤波获得距离—多普勒(RDM)和距离—角度图(RAM);然后,将连续多帧RDM和RAM经过三维卷积网络后进行特征融合与拼接得到特征向量,利用Transformer模块进行位置和序列编码;最后通过全连接层获得手势概率分布向量.采集了基于实际路况和多种干扰环境下的雷达数据制作了手势识别分类的数据集,实验结果表明该方法可以有效的检测与识别多种典型手势,识别准确率可以达到97.14%以上.

关键词：动态手势识别三维卷积神经网络毫米波雷达

在线全文

学校读者我要写书评

暂无评论

基于编码视频的动态手势数据优化与识别

北京邮电大学学报 2024年第2期47卷 90-96页

作者：谢晓燕曹盘宇夏浩陈雨馨西安邮电大学计算机学院西安710121

编码视频数据流中的运动矢量和残差等语法元素可用于替代光流进行运动表示,但其固有的像素噪声和特征稀疏性会影响精细动作的识别精度。对此,在对编码视频语法元素进行数据优化的基础上,设计了一个高精度、低复杂度的动态手势识别框架... 详细信息

编码视频数据流中的运动矢量和残差等语法元素可用于替代光流进行运动表示,但其固有的像素噪声和特征稀疏性会影响精细动作的识别精度。对此,在对编码视频语法元素进行数据优化的基础上,设计了一个高精度、低复杂度的动态手势识别框架。首先,提出了关键P帧选择方法,通过选择信息量更高的编码帧解决了特征稀疏性问题;其次,提出了联合残差特征表示方法,利用残差得到精细的手势轮廓图,去除了运动矢量中手部以外的像素噪声;最后,设计了一种轻量而高效的动态手势识别模型,利用优化后的运动矢量和残差获得了类似于光流的计算效果。在viva,sheffield klnect gesture,NvGesture和EgoGesture等数据集上对所提方法进行了验证,实验结果显示,所提方法中仅使用RGB数据模式可达到的识别精度分别为82.94%、99.72%、81.12%和90.48%,降低了89%的存储开销,并且以4.7倍的运行速度获得了与先进方法相近的结果。

关键词：动态手势识别编码视频运动矢量残差数据优化