检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于人体和场景上下文的多人3D姿态估计

软件学报 2024年第4期35卷 2039-2054页

作者：何建航孙郡瑤刘琼华南理工大学软件学院广东广州510006

深度歧义是单帧图像多人3D姿态估计面临的重要挑战,提取图像上下文对缓解深度歧义极具潜力.自顶向下方法大多基于人体检测建模关键点关系,人体包围框粒度粗背景噪声占比较大,极易导致关键点偏移或误匹配,还将影响基于人体尺度因子估计... 详细信息

深度歧义是单帧图像多人3D姿态估计面临的重要挑战,提取图像上下文对缓解深度歧义极具潜力.自顶向下方法大多基于人体检测建模关键点关系,人体包围框粒度粗背景噪声占比较大,极易导致关键点偏移或误匹配,还将影响基于人体尺度因子估计绝对深度的可靠性.自底向上的方法直接检出图像中的人体关键点再逐一恢复3D人体姿态.虽然能够显式获取场景上下文,但在相对深度估计方面处于劣势.提出新的双分支网络,自顶向下分支基于关键点区域提议提取人体上下文,自底向上分支基于三维空间提取场景上下文.提出带噪声抑制的人体上下文提取方法,通过建模“关键点区域提议”描述人体目标,建模姿态关联的动态稀疏关键点关系剔除弱连接减少噪声传播.提出从鸟瞰视角提取场景上下文的方法,通过建模图像深度特征并映射鸟瞰平面获得三维空间人体位置布局;设计人体和场景上下文融合网络预测人体绝对深度.在公开数据集MuPoTS-3D和Human3.6M上的实验结果表明:与同类先进模型相比,所提模型HSC-Pose的相对和绝对3D关键点位置精度至少提高2.2%和0.5%;平均根关键点位置误差至少降低4.2 mm.

关键词：多人场景3D姿态估计关键点区域提议人体上下文场景上下文人体绝对深度

在线全文

学校读者我要写书评

暂无评论

基于先验知识和网格监督的手部姿态估计

华南理工大学学报（自然科学版） 2024年第6期52卷 138-147页

作者：孙迪钢张平华南理工大学计算机科学与工程学院广东广州510006

手部自遮挡和深度信息缺失使得由单目RGB图像进行三维手部姿态估计存在关节相对深度估计不够准确、生成的姿态违背手部生物力学约束等问题。为解决此问题,文中结合手部结构中蕴含的先验知识以及手部网格信息,提出一种基于先验知识和网... 详细信息

手部自遮挡和深度信息缺失使得由单目RGB图像进行三维手部姿态估计存在关节相对深度估计不够准确、生成的姿态违背手部生物力学约束等问题。为解决此问题,文中结合手部结构中蕴含的先验知识以及手部网格信息,提出一种基于先验知识和网格监督的深度神经网络。手部骨架的铰链式结构意味着关节三维位置在二维图像平面和深度方向的投影之间存在着特定关系,但个体之间的手部结构差异导致难以对其进行直观的形式化描述,为此文中提出通过学习来对其进行拟合。同一手指的关节位置和骨骼长度、同一手指的不同分段以及不同手指的弯曲方向之间也存在特定关系,文中将其设计为损失函数,用于监督网络训练。所提出的神经网络在估计手部姿态的同时并行生成手部网格,通过网格标注监督网络训练,优化姿态估计,且不增加网络复杂度。使用混合数据集对神经网络进行了训练,以进一步提高其泛化能力。实验结果表明,所提方法在多个数据集的内部交叉验证精度、跨数据集验证精度、模型的时间和空间复杂度等方面都优于其他方法,手部结构先验知识和网格监督在提升姿态估计精度的同时保持了神经网络结构的紧凑性。

关键词：手部姿态估计手部形状估计先验知识手部网格

基于语义-视觉一致性约束的零样本图像语义分割网络

在线全文

学校读者我要写书评

暂无评论

华南理工大学学报（自然科学版） 2024年第10期52卷 41-50页

作者：陈琼冯媛李志群杨咏华南理工大学计算机科学与工程学院广东广州510006

零样本图像语义分割是零样本学习在视觉领域的重要任务之一,旨在分割训练中未见的新类别。目前基于像素级视觉特征生成的方法合成的视觉特征分布和真实的视觉特征分布存在不一致性的问题,合成的视觉特征难以准确反映类语义信息,导致合... 详细信息

零样本图像语义分割是零样本学习在视觉领域的重要任务之一,旨在分割训练中未见的新类别。目前基于像素级视觉特征生成的方法合成的视觉特征分布和真实的视觉特征分布存在不一致性的问题,合成的视觉特征难以准确反映类语义信息,导致合成的视觉特征缺乏鉴别性;现有的一些视觉特征生成方法为了得到语义特征所表达的区分性信息,需要消耗巨大的计算资源。为此,文中提出了一种基于语义-视觉一致性约束的零样本图像语义分割网络(SVCCNet)。该网络通过语义-视觉一致性约束模块对语义特征与视觉特征进行相互转换,以提高两者的关联度,减小真实视觉特征与合成视觉特征空间结构的差异性,从而缓解合成视觉特征与真实视觉特征分布不一致的问题。语义-视觉一致性约束模块通过两个相互约束的重建映射,实现了视觉特征与类别语义的对应关系,同时保持了较低的模型复杂度。在PASCAL-VOC及PASCAL-Context数据集上的实验结果表明,SVCCNet的像素准确率、平均准确率、平均交并比、调和交并比均优于比较的主流方法。

关键词：语义分割特征生成零样本学习计算机视觉深度学习

在线全文

学校读者我要写书评

暂无评论

局部干法水下快频脉冲MIG焊电源研制

焊接学报 2024年第4期45卷 13-19,I0003,I0004页

作者：王振民贾建军胡健良廖海鹏吴健文张芩华南理工大学机械与汽车工程学院广州510641 华南理工大学计算机科学工程学院广州510006

针对复杂水下环境焊接过程对焊接电源超高动特性与精确控制需求,设计基于SiC模块的快频脉冲焊接电源功率主电路,开发全数字化控制系统,研制出局部干法水下快频脉冲MIG焊电源(local dry underwater fastfrequency pulsed MIG,LDU-FFPMIG)... 详细信息

针对复杂水下环境焊接过程对焊接电源超高动特性与精确控制需求,设计基于SiC模块的快频脉冲焊接电源功率主电路,开发全数字化控制系统,研制出局部干法水下快频脉冲MIG焊电源(local dry underwater fastfrequency pulsed MIG,LDU-FFPMIG).研制的LDU-FFPMIG焊接电源额定输出电流为400 A,能精确输出多种0~30 kHz的快频脉冲电流波形,快频脉冲电流幅值高达200 A.提出LDU-FFPMIG焊接新工艺,将快频脉冲应用到304不锈钢局部干法水下MIG焊接,探究快频脉冲对传统局部干法水下脉冲MIG焊的影响.结果表明,研制的LDU-FFPMIG焊接电源能够实现稳定的局部干法水下MIG焊,可获得良好的焊缝成形;快频脉冲电流的引入可显著提高电弧能量密度和焊接稳定性,减小熔宽(B)、增大熔深(H),焊缝成形系数(B/H)减小约30%,并且可以细化晶粒.

关键词：焊接电源 SiC模块全数字化快频脉冲波形局部干法水下MIG焊

伪时空图卷积网络修复姿态引导的Transformer行人视频修复方法

在线全文

学校读者我要写书评

暂无评论

计算机辅助设计与图形学学报 2024年第4期36卷 552-564页

作者：唐福梅聂勇伟余嘉祺张青李桂清华南理工大学计算机科学与工程学院广州510006 中山大学计算机学院广州510006

为解决监控视频中被遮挡行人的修复问题,提出了一种基于人体姿态的行人视频修复方法,即先修复视频中残缺的行人姿态序列,然后在修补后的姿势序列的引导下修复视频帧中人体的缺失部分.该方法采用OpenPose从视频中提取被遮挡的人体姿态序... 详细信息

为解决监控视频中被遮挡行人的修复问题,提出了一种基于人体姿态的行人视频修复方法,即先修复视频中残缺的行人姿态序列,然后在修补后的姿势序列的引导下修复视频帧中人体的缺失部分.该方法采用OpenPose从视频中提取被遮挡的人体姿态序列,针对其因存在遮挡情况导致未识别出和未准确识别部分关节点的问题,提出了一种伪时空图卷积网络模型对缺失姿态进行修复,得到一个相对准确的姿态序列;基于修复后的姿态,提出了基于姿态序列引导的Transformer行人视频修复模型.在Human3.6M数据集上进行了测试,所提出的方法在4个指标PSNR,RMSE,SSIM,LPIPS上均比对比方法有提升,特别是RMSE指标提升了9.50%,LPIPS指标提升了21.67%.

关键词：深度学习图卷积神经网络 Transformer 人体姿态补全视频修复

基于知识图谱和预训练语言模型深度融合的可解释生物医学推理

在线全文

学校读者我要写书评

暂无评论

北京大学学报（自然科学版） 2024年第1期60卷 62-70页

作者：徐寅鑫杨宗保林宇晨胡金龙董守斌华南理工大学计算机科学与工程学院广州510641 中山市华南理工大学现代产业技术研究院中山528437

基于预训练语言模型(LM)和知识图谱(KG)的联合推理在应用于生物医学领域时,因其专业术语表示方式多样、语义歧义以及知识图谱存在大量噪声等问题,联合推理模型并未取得较好的效果。基于此,提出一种面向生物医学领域的可解释推理方法DF-... 详细信息

基于预训练语言模型(LM)和知识图谱(KG)的联合推理在应用于生物医学领域时,因其专业术语表示方式多样、语义歧义以及知识图谱存在大量噪声等问题,联合推理模型并未取得较好的效果。基于此,提出一种面向生物医学领域的可解释推理方法DF-GNN。该方法统一了文本和知识图谱的实体表示方式,利用大型生物医学知识库构造子图并进行去噪,改进文本和子图实体的信息交互方式,增加对应文本和子图节点的直接交互,使得两个模态的信息能够深度融合。同时,利用知识图谱的路径信息对模型推理过程提供了可解释性。在公开数据集MedQA-USMLE和MedMCQA上的测试结果表明,与现有的生物医学领域联合推理模型相比,DF-GNN可以更可靠地利用结构化知识进行推理并提供解释性。

关键词：生物医学预训练语言模型知识图谱联合推理

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

面向代码搜索的函数功能多重图嵌入

软件学报 2024年第8期35卷 3809-3823页

作者：徐杨陈晓杰汤德佑黄翰华南理工大学软件学院广东广州510006

如何提高异构的自然语言查询输入和高度结构化程序语言源代码的匹配准确度,是代码搜索的一个基本问题.代码特征的准确提取是提高匹配准确度的关键之一.代码语句表达的语义不仅与其本身有关,还与其所处的上下文相关.代码的结构模型为理... 详细信息

如何提高异构的自然语言查询输入和高度结构化程序语言源代码的匹配准确度,是代码搜索的一个基本问题.代码特征的准确提取是提高匹配准确度的关键之一.代码语句表达的语义不仅与其本身有关,还与其所处的上下文相关.代码的结构模型为理解代码功能提供了丰富的上下文信息.提出一个基于函数功能多重图嵌入的代码搜索方法.在所提方法中,使用早期融合的策略,将代码语句的数据依赖关系融合到控制流图中,构建函数功能多重图来表示代码.该多重图通过数据依赖关系显式表达控制流图中缺乏的非直接前驱后继节点的依赖关系,增强语句节点的上下文信息.同时,针对多重图的边的异质性,采用关系图卷积网络方法从函数多重图中提取代码的特征.在公开数据集的实验表明,相比现有基于代码文本和结构模型的方法,所提方法的MRR提高5%以上.通过消融实验也表明控制流图较数据依赖图在搜索准确度上贡献较大.

关键词：代码搜索控制流图数据依赖图函数功能多重图

基于源项解耦的物理信息神经网络方法及其在放电等离子体模拟中的应用

在线全文

学校读者我要写书评

暂无评论

物理学报 2024年第14期73卷 155-166页

作者：方泽潘泳全戴栋张俊勃华南理工大学电力学院广州510641

近年来,以物理信息神经网络(PINNs)为代表的人工智能计算范式在等离子体数值模拟领域获得了极大关注,但相关研究考虑的等离子体化学体系较为简化,且基于PINNs求解更为复杂的多粒子低温等离子体流体模型的研究还尚处空白.本文提出了一个... 详细信息

近年来,以物理信息神经网络(PINNs)为代表的人工智能计算范式在等离子体数值模拟领域获得了极大关注,但相关研究考虑的等离子体化学体系较为简化,且基于PINNs求解更为复杂的多粒子低温等离子体流体模型的研究还尚处空白.本文提出了一个通用的PINNs框架(源项解耦PINNs,Std-PINNs),用于求解多粒子低温等离子体流体模型.Std-PINNs通过引入等效正离子,并将电流连续性方程替代各粒子输运方程作为物理约束,实现了重粒子输运方程源项与电子密度、平均电子能量的解耦,极大降低了训练复杂度.本文通过两个经典放电案例(低气压氩气辉光放电、大气压氦气辉光放电)展示了Std-PINNs在求解多粒子低温等离子体流体模型的应用,并将结果与传统PINNs和有限元(FEM)模型进行了对比.结果显示,传统PINNs输出了完全错误的训练结果,而Std-PINNs与FEM结果之间的L2相对误差能达到约10–2量级,由此验证了Std-PINNs在模拟多粒子等离子体流体模型的可行性.Std-PINNs为低温等离子体模拟提供了新的思路,并拓展了深度学习方法在复杂物理系统建模中的应用.

关键词：物理信息神经网络低温等离子体源项解耦流体模型

维普期刊数据库博看期刊

二维硼结构中条带状空位长程有序分布的理论研究

在线全文

学校读者我要写书评

暂无评论

物理学报 2024年第9期73卷 216-222页

作者：徐诗涵何长春杨小宝华南理工大学物理与光电学院广州510640

在二维硼结构中,有序分布的高浓度空位可以增强其结构的稳定性,并对材料性能产生显著影响.根据最近的实验进展,本文重点关注二维硼结构中空位呈条带状分布的体系,提出有效模型系统研究结构稳定性随空位分布的变化.结合第一性原理计算结... 详细信息

在二维硼结构中,有序分布的高浓度空位可以增强其结构的稳定性,并对材料性能产生显著影响.根据最近的实验进展,本文重点关注二维硼结构中空位呈条带状分布的体系,提出有效模型系统研究结构稳定性随空位分布的变化.结合第一性原理计算结果,对空位不同近邻作用参数进行拟合,预测了不同空位浓度的稳定结构,发现在该体系中空位不同近邻存在竞争,导致长周期分布的趋势,揭示了不同近邻作用的相互竞争导致长周期结构稳定存在的关键机制.

关键词：二维硼结构长周期结构空位分布第一性原理计算

维普期刊数据库博看期刊