检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于机器视觉的人体骨架识别技术研究与应用

基于机器视觉的人体骨架识别技术研究与应用

作者：俞跃华电子科技大学

学位级别：硕士

由于机器视觉不断发展,人体骨架识别算法日趋成熟,应用到实际生活的条件已经初步具备。本文主要关注运动医学领域,面对复杂的现实环境,直接将人体骨架识别算法运用到实际场景是不合理的。因此需要对骨架识别算法流程加以改进,满足现实... 详细信息

由于机器视觉不断发展,人体骨架识别算法日趋成熟,应用到实际生活的条件已经初步具备。本文主要关注运动医学领域,面对复杂的现实环境,直接将人体骨架识别算法运用到实际场景是不合理的。因此需要对骨架识别算法流程加以改进,满足现实场景需要。聚焦神经性肌肉疾病这种发病率高、危害性大的疾病,“早发现、早治疗”对延长患者生命周期,提高生活质量是十分重要的。因此本文将改进后的自上而下的骨架识别算法用于疾病的早期筛查,提出了一种基于骨架识别的辅助诊断算法方案。具体研究内容如下:(1)改进了自上而下的骨架识别算法。研究多种基于机器视觉的骨架识别技术,针对目前的骨架识别算法在实际应用中的不足之处,在目标检测和骨架关键点检测之间加入了行人重识别算法。行人重识别技术检测出来的人体与目标人体的相似度,选择相似度高的行人作为目标,实现特定目标的追踪。关键点检测算法只作用于目标,排除其他行人的干扰,适应复杂的环境变化,增强了关键点检测算法健壮性。在公开数据集上和自建数据集上PCKh指标均达到了90%。(2)提出一种自建数据集的数据增强方案。对于辅助诊断数据集有限的情况,基于图像处理技术以及VIBE扩充数据集。通过图像翻转、旋转等简单操作实现数据集的扩充,利用VIBE生成3D人体运动视频,调整不同拍摄角度,获得更多的数据。扩充后的数据集满足了模型训练所需数据量,又增强了模型的鲁棒性。(3)提出一种特征融合方法。针对目前视频分类算法只对原始视频进行全局特征提取的缺陷,将骨架关键点特征融入到原始图像信息中,使算法聚焦人体骨架的信息。借鉴热图的思想,在原始视频帧图像的基础上,利用高斯函数把骨架关键点信息表示在图像上形成一张新的特征图,使得模型更加关注骨架关键点信息。通过实验证明特征融合方法的有效性,在不同模型上有不同程度提高。(4)提出了一种基于人体骨架识别的辅助诊断解决方案。解决方案主要分为骨架识别和辅助诊断两个模块,基本满足了对神经性肌肉疾病患者进行早期筛选的需求。在自建数据集上准确率、精准率、召回率、F1分数都达到了80%,尤其是在上下楼梯动作视频的辅助诊断准确率达到了87%。

关键词：机器视觉深度学习骨架识别神经性肌肉疾病

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于人体骨架的工作流程识别系统研究

基于人体骨架的工作流程识别系统研究

作者：梁健中国矿业大学

学位级别：硕士

工业4.0时代的到来,智能制造模式逐渐深入人心,在这其中,视频监控扮演着举足轻重的角色。目前,绝大多数的生产厂家都在产品生产流水线上布置监控系统以实现日后对产品生产过程的追溯。然而,当前追溯工作主要由人工完成,不仅效率低,还需... 详细信息

工业4.0时代的到来,智能制造模式逐渐深入人心,在这其中,视频监控扮演着举足轻重的角色。目前,绝大多数的生产厂家都在产品生产流水线上布置监控系统以实现日后对产品生产过程的追溯。然而,当前追溯工作主要由人工完成,不仅效率低,还需要投入大量的人力工作,费时费力。监控设备的资源利用率低。针对上述问题,本文以某显示器生产厂家为背景,将机器视觉技术引入其中,提出一种基于人体骨架的工作流程识别系统,主要研究内容如下:首先,对显示器厂家的面板装配车间进行需求分析,基于此完成以下两个方面的工作:工作流程识别系统涉及到的硬件资源选型,构建硬件基础;分析不同行为识别算法的优劣,针对面板装配车间内人员走动、动作幅度小等问题,将基于骨架的行为识别方法作为工作流程识别系统的算法方案。其次,针对面板装配车间内,背景复杂、人员走动形成干扰信息等问题,基于YOLOv3-Tiny目标检测模型,设计出工作流程识别系统中的快速人体检测模型,并对该模型中的输出头进行改进;针对装配人员下半身关键点被遮挡、手部关键点特征缺失等问题,基于Hrnet关键点检测模型,重新定义骨骼关键点的数目以及类别,设计出工作流程识别系统的骨架检测模型,并在人体骨骼关键点坐标计算方式以及骨骼关键点的权重占比两个方面进行改进。接着,利用传统机器学习方法对骨架识别网络输出的骨骼关键点在时间、空间维度上进行特征提取、分析,实现对工厂行为的分类。针对传统机器学习方法鲁棒性弱、对细腻动作容易误检等问题,基于时空图积神经网络,将工作流程识别任务转换为对连续帧骨骼关键点空间位置信息的分类工作。实验结果表明,时空图卷积神经网络能够更好地完成基于骨架的行为识别任务。随后,针对工作流程识别模型参数量大、推理速度慢、难以部署等问题,基于Tensor Rt推理引擎完成工作流程识别模型的压缩优化。最终,模型的整体参数量减少67.1%,推理速度提高189%,在Nvidia Xavier上推理速率为16Fps,达到基本部署需求。最后,基于Py Qt5开发工作流程识别系统界面控制管理系统,实现对工作流程识别系统的可视化操作以及高效管理。该论文共有图55幅,表14个,参考文献66篇。

关键词：工作流程骨架识别时空图卷积模型压缩目标检测

融合多源信息的帕金森病患者手指灵活性智能评测研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

融合多源信息的帕金森病患者手指灵活性智能评测研究

作者：赵晓萌山西大学

学位级别：硕士

人工智能技术被广泛地应用于医疗领域辅助疾病智能诊疗。帕金森病无论在确诊阶段还是在治疗阶段,都要花费临床医生、患者及患者家属大量的精力。利用机器学习和深度学习算法对帕金森病人的状态进行智能评测,不仅可以在临床中为医生提供... 详细信息

人工智能技术被广泛地应用于医疗领域辅助疾病智能诊疗。帕金森病无论在确诊阶段还是在治疗阶段,都要花费临床医生、患者及患者家属大量的精力。利用机器学习和深度学习算法对帕金森病人的状态进行智能评测,不仅可以在临床中为医生提供参考结果和节约诊断时间,也可以帮助患者实现居家病情监测,具有一定的实际意义。本文基于山西医科大学第一医院神经内科团队对38位帕金森病患者采集的74个样本数据,利用计算机视觉和多源数据融合方法对帕金森病患者的手部灵活性展开评测研究,主要工作内容如下:1.本文针对受试者进行手指敲击实验的RGB视频数据,从原始数据中裁剪出仅包含手部的视频。首先,训练自编码器提取视频流的先验知识特征,获得了手部动作的宏观特征,并验证了其有效性。接着使用数据增强方法扩充样本,构建长短期记忆神经网络模型,研究不同样本长度对于手部灵活性评测的影响,最终得出基于长度为4秒的样本构建的模型表现最佳,准确率为80.95%,召回率为84.16%。2.本文使用裁剪后的手部视频,利用Media Pipe Hands算法从视频中提取手部骨架轮廓,并获得手部关键点的三维坐标。接着从坐标轨迹中进行细节特征提取,根据帕金森病评定量表中的评分规则设计提取运动学特征,同时提取了时间序列特征,使用特征过滤和特征选择降低维度。最后使用随机森林模型进行评测,二分类模型的准确率可达89.29%,非正常类的召回率达到96.25%,优于多分类模型。3.本文基于视频模态特征和传感器数据特征,构建了融合多源数据的手部灵活性评测模型。结果显示,融合多源数据特征的模型对比单模态模型性能均有所提升,使用早期融合的结果优于后期融合的结果。其中,基于骨架特征与加速度特征进行早期融合构建的随机森林模型性能最佳,准确率和召回率均达到90%以上。目前人工智能发展的一大问题就是实验环境向开放环境的转变,由于本文在收集数据时并未设置严苛的实验条件,更接近真实生活,研究结果具有一定实际意义。

关键词：帕金森病自编码器骨架识别多源数据融合

基于3D动作识别的篮球辅助训练系统设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于3D动作识别的篮球辅助训练系统设计与实现

作者：李英杰宁夏大学

学位级别：硕士

基于视频的人体动作识别已成为近年来计算机视觉领域研究的热点之一,并已广泛用于智能人机交互和虚拟现实等领域。人体动作识别分为基于2D、3D的识别方法,2D识别方法实时提取二维平面的位置特征,使网络模型只能学习位置轮廓或者颜色信息... 详细信息

基于视频的人体动作识别已成为近年来计算机视觉领域研究的热点之一,并已广泛用于智能人机交互和虚拟现实等领域。人体动作识别分为基于2D、3D的识别方法,2D识别方法实时提取二维平面的位置特征,使网络模型只能学习位置轮廓或者颜色信息,很难直接反应运动的本质,也是此类方法识别精度较低的原因。使用基于3D骨骼数据信息的方法,通过网络模型学习关节点坐标位置的空间信息和关节点空间位置在时间序列上的变化信息,达到分类效果。为了解决上述问题,本文提出了 3D姿态估计和动作识别相融合的方法进行动作识别与分类。本文的主要贡献如下:(1)由于当前使用的数据集包括NTU-RGBD、Kinect-skeletons等都是基于人类日常活动的数据集,暂无公开篮球基础动作相关的数据集,因此由本人主导,实验室团队成员辅助,通过多渠道收集以及处理篮球运动视频,创建篮球运动数据集,后期可公开为其他研究者提供参考。(2)基于篮球运动数据集,本文提出了一种将人体姿态估计与动作识别相融合的方法,为篮球运动辅助训练提供了新思路,相较于传统单一的动作识别方法,该方法使识别准确率更优,展示效果更加直观。(3)本文研究了基于3D动作识别方法,首先使用多人人体姿态估计方法从篮球基础动作视频数据中提取2D骨架信息并将其转换成3D骨架信息,将3D骨架数据替换时空图卷积神经网络算法模型的输入进行识别与分类,提高动作识别的准确率。(4)使用本文提出的动作识别方法,设计并实现了一套篮球运动辅助训练系统,该系统结合了算法分析以及数据分析的功能,通过上传基础动作视频、篮球比赛视频,为球员提供基础动作训练、体能检测报告等服务,帮助球员找到不足并提高得分率。

关键词：深度学习计算机视觉视频分析动作识别骨架识别

基于Stacked Hourglass的智能康复评估系统研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

智能计算机与应用 2021年第2期11卷 60-63,68页

作者：卢鹏飞郑建立尹梓名上海理工大学医疗器械与食品学院上海200093

2020年康复领域异常严峻,一方面,疫情爆发,人群不易聚集,患者不方便去医院或者康复中心做康复及检测身体状况,另一方面,全球人口老龄化问题加剧,老人腿脚不方便,不便于频繁地去康复中心复查,并且全国康复中心资源较少,不仅造成康复师工... 详细信息

2020年康复领域异常严峻,一方面,疫情爆发,人群不易聚集,患者不方便去医院或者康复中心做康复及检测身体状况,另一方面,全球人口老龄化问题加剧,老人腿脚不方便,不便于频繁地去康复中心复查,并且全国康复中心资源较少,不仅造成康复师工作压力增大,还会出现医患沟通不充分,延误康复等问题。随着人工智能技术不断发展,机器视觉在人工智能中的表现尤为突出,其中骨架识别不断被认可,应用在了多个领域。因此本次研究设计了基于Stacked Hourglass的智能康复评估系统,期望可以提高康复医师工作效率。本系统主要为智能康复评估,首先构建以量表为中心,建立量表答题结构的数据库,将量表储存在数据库中。其次,将骨架识别移植到移动端软件识别出量表所需数据。然后,将骨架识别数据通过计算,算出填表所需值,智能填表。最后,通过各个量表数据,全部显示出来并提供给康复师,让康复师了解患者状况。通过这些步骤设计量表模型,完成智能康复评估。

关键词：骨架识别 Hourglass TensorFlow 智能量表