检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

融合多尺度注意力的多视角遥感影像场景分类

武汉大学学报（信息科学版） 2024年第3期49卷 366-375页

作者：时永欣周维勋邵振峰南京信息工程大学遥感与测绘工程学院江苏南京210044 北京师范大学遥感科学国家重点实验室北京100875 武汉大学测绘遥感信息工程国家重点实验室湖北武汉430079

针对现有场景分类方法特征表征能力差以及单视角遥感影像分类精度难以提升的问题,提出一种融合多尺度注意力的多视角遥感影像场景分类方法。首先,将航空图像和地面图像构造成正负图像对,并划分为训练集、验证集和测试集;其次,构建融合... 详细信息

针对现有场景分类方法特征表征能力差以及单视角遥感影像分类精度难以提升的问题,提出一种融合多尺度注意力的多视角遥感影像场景分类方法。首先,将航空图像和地面图像构造成正负图像对,并划分为训练集、验证集和测试集;其次,构建融合多尺度注意力的卷积神经网络并训练,通过特征融合模块得到融合注意力且表征能力更强的特征,实现多尺度特征学习;然后,利用训练的多尺度注意力网络分别提取航空图像和地面图像特征并进行融合;最后,基于融合后的特征使用支持向量机进行场景分类。实验结果表明,相比现有方法,所提方法在两个公开数据集上均取得了更高的分类精度,改善了单视角场景分类效果,同时也证明了多视角所提供的补充信息能进一步提升遥感场景分类的准确性。

关键词：场景分类多视角遥感图像卷积神经网络特征融合视觉注意力

在线全文

学校读者我要写书评

暂无评论

跨模态目标重识别研究综述

计算机科学 2024年第1期51卷 13-25页

作者：崔振宇周嘉欢彭宇新北京大学王选计算机研究所北京100871 多媒体信息处理国家重点实验室北京100871

目标重识别(ReID)技术旨在匹配不同区域摄像头在不同时间拍摄到的同一目标,其核心是通过目标间的细粒度差异实现不同目标的有效区分。因此,目标重识别技术被广泛应用于安防布控、刑侦监控等领域并发挥了重要作用。传统的目标重识别技术... 详细信息

目标重识别(ReID)技术旨在匹配不同区域摄像头在不同时间拍摄到的同一目标,其核心是通过目标间的细粒度差异实现不同目标的有效区分。因此,目标重识别技术被广泛应用于安防布控、刑侦监控等领域并发挥了重要作用。传统的目标重识别技术通常适用于光照条件良好情况下的可见光模态数据,但在处理黑夜低光照条件下的目标重识别任务时,其性能通常受到严重限制。红外摄像机因其卓越的夜视性能,通常被应用于在低光照条件下采集目标红外图像。因此,跨模态目标重识别技术旨在通过可见光图像匹配红外图像,实现全天候不间断的目标重识别。近年来,跨模态目标重识别技术取得了很大进展,然而,对于现有模型的归纳总结及深入分析仍然欠缺。为此,对跨模态目标重识别领域的相关研究和新颖方法进行了深入调研和总结,讨论了现有方法在实际场景中面临的挑战,并从模型分类和模型评价两个方面对现有方法进行归纳与分析。首先,围绕跨模态目标重识别问题的研究难点,将跨模态目标重识别分为生成式方法和非生成式方法两大类;然后,对当前跨模态重识别领域中广泛使用的评测数据集以及相关评价指标进行了综述与总结;最后,讨论了跨模态重识别领域仍然存在的挑战并对未来发展趋势进行了展望。

关键词：计算机视觉目标重识别跨模态细粒度特征表征学习

通过触觉编码和声音为视力障碍者提供远程虚拟陪伴

在线全文

学校读者我要写书评

暂无评论

生物化学与生物物理进展 2024年第1期51卷 158-176页

作者：葛松黄轩拓林衍旎李沿橙董问天党卫民徐晶晶伊鸣许胜勇北京大学电子学院教育部纳米器件物理与化学重点实验室北京100871 北京大学信息科学技术学院北京100871 北京大学第六医院北京大学精神卫生研究所国家卫生健康委员会精神卫生学重点实验室(北京大学)国家精神心理疾病临床医学研究中心(北京大学第六医院)北京100191 山东大学微电子学院济南250100 北京大学基础医学院神经生物学系神经科学研究所神经科学重点实验室北京大学公共卫生学院北京100191

目的现有的人工视觉装置分为植入式装置和体外辅助装置两种,但它们都有一些不足之处。植入式装置需要手术植入、会造成不可恢复创伤;体外辅助装置指令相对简单、应用场景较为单一、过于依赖人工智能(AI)的判断不能提供足够的安全性。本... 详细信息

目的现有的人工视觉装置分为植入式装置和体外辅助装置两种,但它们都有一些不足之处。植入式装置需要手术植入、会造成不可恢复创伤;体外辅助装置指令相对简单、应用场景较为单一、过于依赖人工智能(AI)的判断不能提供足够的安全性。本文提出了一种将周边环境信息转化成头颈部触觉指令、并辅助以语音交互的系统,其有效性、安全性、信息量等均优于现有体外辅助技术,同时也具有低成本、低风险、适合多种生活和工作场景等优势。方法该系统借助最新的远程无线网络通讯技术、芯片技术,利用前方人员随身佩戴的微小型电子设备、摄像头和感应器,以及云端庞大的数据库和计算能力,后台人员可以实时、充分地远程(比如跨越城市)了解前方的现场景象、环境参数和人员状态等信息,通过对比云端数据库和内存数据库、AI辅助识别和人工综合分析,快速获得最合理的行动方案,并将行动指令及时传给前方人员,实现盲人导航功能。同时,也用语音互动对话提供人文关怀、情感寄托。结果本文首次提出了“远程虚拟陪伴概念”,并演示了相应的硬件和软件以及多种生活场景下的测试效果。除了可以实现基础的导航功能,比如帮助视觉障碍人群完成在超市购物、咖啡厅寻座、街道行走,以及完成更加复杂的拼图、日常娱乐打牌功能,还可以满足骑行等速度相对快的移动指令要求。结论实验结果表明,这种“远程虚拟陪伴”装置适用大量场景和需求,不仅可以用于视觉障碍人群出行、购物、娱乐,也可用于陪伴老人出行、辅助野外探险或旅行等,具有广泛的发展和应用前景。

关键词：人工视觉辅助远程虚拟伴侣触觉代码盲人导航

神经网络结构搜索在脑数据分析领域的研究进展

在线全文

学校读者我要写书评

暂无评论

软件学报 2024年第4期35卷 1682-1702页

作者：李晴汪启昕李子遇祝志远张诗皓牟浩南杨文婷邬霞认知神经科学与学习国家重点实验室(北京师范大学) 北京100875 北京师范大学人工智能学院北京100875

神经网络结构搜索(neural architecture search,NAS)是自动化机器学习的重要组成部分,已被广泛应用于多个领域,包括计算机视觉、语音识别等,能够针对特定数据、场景、任务寻找最优的深层神经网络结构.将NAS引入至脑数据分析领域,能够在... 详细信息

神经网络结构搜索(neural architecture search,NAS)是自动化机器学习的重要组成部分,已被广泛应用于多个领域,包括计算机视觉、语音识别等,能够针对特定数据、场景、任务寻找最优的深层神经网络结构.将NAS引入至脑数据分析领域,能够在图像分割、特征提取、辅助诊断等多个应用领域大幅度提升性能,展现低能耗自动化机器学习的优势.基于NAS进行脑数据分析是当前的研究热点之一,同时也具有一定挑战.目前,在此领域,国内外可供参考的综述性文献较少.对近年来国内外相关文献进行了细致地调研分析,从算法模型、研究任务、实验数据等不同方面对NAS在脑数据分析领域的研究现状进行了综述.同时,也对能够支撑NAS训练的脑数据集进行了系统性总结,并对NAS在脑数据分析中存在的挑战和未来的研究方向进行了分析和展望.

关键词：神经网络结构搜索脑数据分析神经网络深度学习

多元视觉-语义联合嵌入的人-物交互检测网络

在线全文

学校读者我要写书评

暂无评论

计算机辅助设计与图形学学报 2024年

作者：吕学强王晓英韩晶陈玉忠北京信息科技大学网络文化与数字传播北京市重点实验室青海师范大学藏语智能信息处理及应用国家重点实验室

人-物交互检测对理解以人为中心的场景任务十分重要，但其存在因动词的一词多义带来的视觉偏差问题以及图像的层次信息和语义关系难以合理利用的挑战. 为此，提出多元视觉特征和语言先验联合嵌入的网络，设计了视觉-语义双分支结构.... 详细信息

人-物交互检测对理解以人为中心的场景任务十分重要，但其存在因动词的一词多义带来的视觉偏差问题以及图像的层次信息和语义关系难以合理利用的挑战. 为此，提出多元视觉特征和语言先验联合嵌入的网络，设计了视觉-语义双分支结构. 在视觉分支上，将人-物对中人、对象和交互的多元层次关系在层次视觉融合模块中进行丰富的上下文交换，增加用于关系推理的细粒度的上下文信息; 在语义分支上，将交互三元组标签中的名词、交互动词和三元组短语联合编码成一个语义汇聚一致性图注意网络，进行信息传递和多义感知; 最后通过视觉-语义联合嵌入模块计算视觉和语义之间的拟合程度，得到交互三元组的检测结果. 实验结果表明，在V-COCO数据集上，代理平均精度达到70.7%，角色平均精度达到72.4%; 在HICO-DET数据集上，默认场景下，完整类、罕见类和非罕见类的平均精度分别达到35.91%， 33.65%和36.28%; 所提网络优于对比的网络，在少样本和零样本情况下同样表现出色.

关键词：人-物交互语言先验层次视觉图注意力机制

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

近场分布式光度计的研究进展及应用

应用光学 2024年第1期45卷 17-25页

作者：何泽浩王洪远闵锐曹良才清华大学精密仪器系精密测试技术及仪器国家重点实验室北京100084

亮度计成像精度、存储器数据容量和计算机运算能力决定了近场分布式光度计的探测能力。随着成像技术和计算机技术的发展,近场分布式光度计的测量性能有了革命性的提升。介绍了近场分布式光度计的工作原理,归纳了近场分布式光度计相对于... 详细信息

亮度计成像精度、存储器数据容量和计算机运算能力决定了近场分布式光度计的探测能力。随着成像技术和计算机技术的发展,近场分布式光度计的测量性能有了革命性的提升。介绍了近场分布式光度计的工作原理,归纳了近场分布式光度计相对于远场分布式光度计的优势。综述了国内外近场分布式光度计的研究进展,对比了部分国内外产品的性能指标。针对近场分布式光度计元数据精度不足、扫描重构速度偏慢和溯源装置适应性受限的现状,从部件、软件和系统等方面归纳了相应的解决方案。结合近场分布式光度计的特点和优势,展望了其在照明显示、交通运输、工业视觉和文物保护等领域的应用。

关键词：光度测量照明测量显示测量分布式光度计近场分布式光度计

维普期刊数据库博看期刊

基于XPBD的微创冠脉旁路移植手术操作实时仿真

在线全文

学校读者我要写书评

暂无评论

计算机辅助设计与图形学学报 2024年

作者：李希轩豆振浩吴洪宇北京航空航天大学虚拟现实技术与系统国家重点实验室

微创冠脉旁路移植术(MICS-CABG)是外科治疗严重冠心病的重要发展方向，但其手术难度大，风险高，初学者无法直接对实际病人进行手术技能训练. 基于虚拟现实技术的手术模拟训练能够有效地提高训练效果，避免手术风险. 针对MICS-CABG... 详细信息

微创冠脉旁路移植术(MICS-CABG)是外科治疗严重冠心病的重要发展方向，但其手术难度大，风险高，初学者无法直接对实际病人进行手术技能训练. 基于虚拟现实技术的手术模拟训练能够有效地提高训练效果，避免手术风险. 针对MICS-CABG的特点，提出一种扩展的基于位置动力学(XPBD)框架的微创冠脉旁路移植手术操作实时仿真方法. 首先使用四面体外骨骼模型实现复杂心脏的物理形变，利用圆柱几何体表示手术器械物理模型; 然后利用GPU并行加速XPBD仿真，利用冠脉中轴线建立Cosserat弹性杆模型的拉伸、剪切、弯曲、扭转约束，实现了冠脉的形变仿真; 最后基于手术器械与心脏物理模型的碰撞检测，引入不嵌入约束与附着约束，生成工具与软组织交互的反馈力. 实验结果表明，所提方法中手术器械模型与软组织交互变形实时稳定，在包含100 000个物理单元的场景中，仿真速率可达到60帧/s，力反馈仿真频率可达到1 kHz以上，视觉效果良好，有着较高的仿真效率.

关键词：虚拟手术仿真扩展的基于位置动力学手术器械交互

基于双路视觉Transformer的图像风格迁移

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

北京航空航天大学学报 2024年

作者：纪宗杏贝佳刘润泽任桐炜南京大学计算机软件新技术国家重点实验室

图像风格迁移(Image Style Transfer， IST)旨在根据风格图像调整内容图像的视觉属性，使其保留原始内容的同时呈现出特定风格样式，从而生成具有视觉吸引力的风格化图像。现有代表性方法大多未考虑不同图像域间的编码差异，专注提取图... 详细信息

图像风格迁移(Image Style Transfer， IST)旨在根据风格图像调整内容图像的视觉属性，使其保留原始内容的同时呈现出特定风格样式，从而生成具有视觉吸引力的风格化图像。现有代表性方法大多未考虑不同图像域间的编码差异，专注提取图像局部特征而忽视了全局上下文信息的重要性。为此，提出了一种新型的基于双路视觉Transformer的图像风格迁移方法Bi-Trans，对内容图像域和风格图像域进行独立编码，提取风格参数向量以离散化表征图像风格，通过交叉注意力机制与条件实例归一化将内容图像标定至目标域风格，从而生成风格化图像。实验结果表明，本文方法无论是内容保留度还是风格还原度均优于现有方法。

关键词：图像风格迁移视觉Transformer 任意风格化条件实例归一化注意力机制

FGITA:一种基于细粒度对齐的多模态命名实体识别框架

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

小型微型计算机系统 2024年

作者：吕学强王涛游新冬赵海兴才藏太陈玉忠北京信息科技大学网络文化与数字传播北京市重点实验室青海师范大学藏语智能信息处理及应用国家重点实验室

命名实体识别任务旨在识别出非结构化文本中所包含的实体并将其分配给预定义的实体类别中。随着互联网和社交媒体的发展，文本信息往往伴随着图像等视觉模态信息出现，传统的命名实体识别方法在多模态信息中表现不佳。近年来，多模态命... 详细信息

命名实体识别任务旨在识别出非结构化文本中所包含的实体并将其分配给预定义的实体类别中。随着互联网和社交媒体的发展，文本信息往往伴随着图像等视觉模态信息出现，传统的命名实体识别方法在多模态信息中表现不佳。近年来，多模态命名实体识别任务广受重视。然而，现有的多模态命名实体识别方法中，存在跨模态知识间的细粒度对齐不足问题，文本表征会融合语义不相关的图像信息，进而引入噪声。为了解决这些问题，提出了一种基于细粒度图文对齐的多模态命名实体识别方法(FGITA: A Multi-Modal NER Frame based on Fine-Grained Image-Text Alignment)。首先，该方法通过目标检测、语义相似性判断等，确定更为细粒度的文本实体和图像子对象之间的语义相关性；其次，通过双线性注意力机制，计算出图像子对象与实体的相关性权重，并依据权重将子对象信息融入到实体表征中；最后，提出了一种跨模态对比学习方法，依据图像和实体之间的匹配程度，优化实体和图像在嵌入空间中的距离，借此帮助实体表征学习相关的图像信息。在两个公开数据集上的实验表明，FGITA优于5个主流多模态命名实体识别方法，验证了方法的有效性，同时验证了细粒度跨模态对齐在多模态命名实体识别任务中的重要性和优越性。

关键词：多模态命名实体识别信息抽取知识图谱对比学习