检索结果-南通市图书馆

基于多模态融合的城市道路场景视频描述模型研究

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2023年第2期40卷 607-611,640页

作者：李铭兴徐成李学伟刘宏哲闫晨阳廖文森北京联合大学北京市信息服务工程重点实验室北京100101 北京联合大学脑与认知智能北京实验室北京100101

城市道路视频描述存在仅考虑视觉信息而忽视了同样重要的音频信息的问题,多模态融合算法是解决此问题的方案之一。针对现有基于Transformer的多模态融合算法都存在着模态之间融合性能低、计算复杂度高的问题,为了提高多模态信息之间的... 详细信息

城市道路视频描述存在仅考虑视觉信息而忽视了同样重要的音频信息的问题,多模态融合算法是解决此问题的方案之一。针对现有基于Transformer的多模态融合算法都存在着模态之间融合性能低、计算复杂度高的问题,为了提高多模态信息之间的交互性,提出了一种新的基于Transformer的视频描述模型多模态注意力瓶颈视频描述(multimodal attention bottleneck for video captioning,MABVC)。首先使用预训练好的I3D和VGGish网络提取视频的视觉和音频特征并将提取好的特征输入到Transformer模型当中,然后解码器部分分别训练两个模态的信息再进行多模态的融合,最后将解码器输出的结果经过处理生成人们可以理解的文本描述。在通用数据集MSR-VTT、MSVD和自建数据集BUUISE上进行对比实验,通过评价指标对模型进行验证。实验结果表明,基于多模态注意力融合的视频描述模型在各个指标上都有明显提升。该模型在交通场景数据集上依旧能够取得良好的效果,在智能驾驶行业具有很大的应用前景。

关键词：视频描述多模态融合注意力机制智能驾驶

在线全文

学校读者我要写书评

暂无评论

基于LSLP法的技术贸易谈判博弈模型解析

河北经贸大学学报 2013年第4期34卷 81-84,95页

作者：刘宏哲天津大学管理与经济学部天津300072

LSLP法作为一种有关技术引进项目的评价方法,被广泛应用于国际和国内的各个行业、部门、企业之间的技术贸易中。将LSLP法中技术供方的利润分成率和技术受方的投资报酬率这两者之间的关系放入贸易谈判过程中讨价还价的序贯博弈的框架内... 详细信息

LSLP法作为一种有关技术引进项目的评价方法,被广泛应用于国际和国内的各个行业、部门、企业之间的技术贸易中。将LSLP法中技术供方的利润分成率和技术受方的投资报酬率这两者之间的关系放入贸易谈判过程中讨价还价的序贯博弈的框架内进行分析,搭建生产率增速定位模型。利用农业部门的实测数据对模型的经济意义进行拟合,得出生产率增速是推进技术进步的核心变量。

关键词： LSLP法博弈技术引进谈判生产率增速技术贸易利润分成率投资报酬率技术进步增长率

在线全文

学校读者我要写书评

暂无评论

深度人脸伪造生成及检测方法综述

深度人脸伪造生成及检测方法综述

中国计算机用户协会网络应用分会2023年第二十七届网络...

作者：李鑫徐冰心徐成刘宏哲北京联合大学北京市信息服务重点实验室北京联合大学机器人学院脑与认知智能北京实验室

深度学习和计算机视觉的发展,尤其是生成对抗网络(GANs)和扩散模型的涌现,给人们的生活带来了诸多便利。然而,这些技术也促使了各种深度伪造信息的产生,在金融、政治和新闻等领域形成了诸多威胁。面对深度伪造生成和检测方法的快速迭代... 详细信息

深度学习和计算机视觉的发展,尤其是生成对抗网络(GANs)和扩散模型的涌现,给人们的生活带来了诸多便利。然而,这些技术也促使了各种深度伪造信息的产生,在金融、政治和新闻等领域形成了诸多威胁。面对深度伪造生成和检测方法的快速迭代,加强对其相关技术的全面理解,对进一步预防其负面效应具有重要意义。通过回顾深度人脸伪造领域的研究背景和各类伪造生成及检测方法,文中提供了对现有工具和相关方法的全面概述和详细分析。具体来说,针对每一类深度伪造,文中探讨了与之相关的具有代表性的生成与检测技术和公共数据集。此外,文中还讨论了该领域目前存在的各种问题,并列举了未来的发展方向。这项工作有望帮助读者理解深度人脸伪造生成及检测技术的发展现状,促进该领域各项研究的不断深入,以应对日益具有挑战性的深度伪造问题。

关键词：深度人脸伪造人脸伪造检测深度生成技术计算机视觉研究综述

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

基于深度学习的显著区域提取方法

数据采集与处理 2020年第3期35卷 474-482页

作者：梁晔马楠刘宏哲北京联合大学信息服务工程重点实验室北京100101 北京联合大学机器人学院北京100044

目前显著区域提取方法通常会设计多个复杂的网络结构,导致计算和存储代价较高。深度学习网络本身具有多尺度的特点,不同的卷积层特征具有不同的空间分辨率,可以避免复杂网络结构的设计。基于此,本文设计了一种新颖的基于深度学习的显著... 详细信息

目前显著区域提取方法通常会设计多个复杂的网络结构,导致计算和存储代价较高。深度学习网络本身具有多尺度的特点,不同的卷积层特征具有不同的空间分辨率,可以避免复杂网络结构的设计。基于此,本文设计了一种新颖的基于深度学习的显著性检测网络,既考虑了特征的多尺度特点,又考虑了图像中显著区域的大小对显著区域检测结果的影响。实验中以流行的基准数据集作为实验对象,结果证明了本文方法的优越性能。

关键词：深度学习显著区域多尺度

基于骨架的双模注意力时空图卷积网络人体动作识别方法

在线全文

学校读者我要写书评

暂无评论

沈阳航空航天大学学报 2023年第1期40卷 58-66页

作者：石祥滨刘宏哲沈阳航空航天大学计算机学院沈阳110136

人体动作识别已成为当今热门研究领域之一,基于骨架的人体动作识别方法因其能够明确展现人体动作而备受关注。针对提取特征时手工设计的人体拓扑图无法获取全局信息、存在大量冗余信息等问题,提出一个双模注意力时空图卷积网络,充分利... 详细信息

人体动作识别已成为当今热门研究领域之一,基于骨架的人体动作识别方法因其能够明确展现人体动作而备受关注。针对提取特征时手工设计的人体拓扑图无法获取全局信息、存在大量冗余信息等问题,提出一个双模注意力时空图卷积网络,充分利用了对动作识别起关键作用的节点信息。首先,提出SGSAE模块,使用自注意力机制对所有关节点之间的关系进行建模,实现对节点信息全局特征的提取,并且在网络的训练过程中优化图的拓扑结构,最终获得适应各种数据样本的图拓扑结构;其次,按不同权重融合节点的全局特征与局部特征;最后,将通道注意力机制引入到网络模型中,提出MCA模块融合通道特征,减少大量冗余信息,提高动作识别精度。实验结果表明,双模注意力时空图卷积网络在NTU-RGB+D和Kinetics数据集上取得了较好的动作识别效果。

关键词：动作识别图卷积网络自注意力机制通道注意力机制特征融合

在线全文

学校读者我要写书评

暂无评论

基于深度学习多目标跟踪算法研究综述

基于深度学习多目标跟踪算法研究综述

中国计算机用户协会网络应用分会2023年第二十七届网络...

作者：孙吉武吴西灵刘宏哲徐成北京市信息服务工程重点实验室北京联合大学机器人学院脑与认知智能北京实验室

多目标跟踪是计算机视觉领域的研究热点之一,其主要任务是对视频序列中的多个目标进行实时识别与跟踪,主要被应用于视频监控、自动驾驶、无人机等领域。多目标跟踪技术在实际应用中的需求也越来越大。然而,由于视频序列中目标的数量、... 详细信息

多目标跟踪是计算机视觉领域的研究热点之一,其主要任务是对视频序列中的多个目标进行实时识别与跟踪,主要被应用于视频监控、自动驾驶、无人机等领域。多目标跟踪技术在实际应用中的需求也越来越大。然而,由于视频序列中目标的数量、大小、运动速度和方向等特征具有多样性,多目标跟踪技术面临着诸多挑战,如目标漏检、重复跟踪、遮挡等问题。因此,如何提高多目标跟踪的准确性、实时性和鲁棒性,成为了当前多目标跟踪技术研究的重要方向。根据实现方式不同,可将跟踪方法分为通过检测跟踪(Tracking-by-Detection,TBD)和联合检测跟踪(Joint-Deteetion-Tracking,JDT)。文中将对当前流行的多目标跟踪技术、所用数据集以及相关评价指标进行综述,以帮助研究者选择合适的模型及数据集进行实验研究。

关键词：计算机视觉多目标跟踪深度学习数据集评价指标

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

基于本体的语义相似度和相关度计算研究综述

计算机科学 2012年第2期39卷 8-13页

作者：刘宏哲须德北京联合大学信息学院北京100101 北京交通大学计算机研究所北京100044

语义相似度和相关度计算广泛应用于自然语言处理中,已有大量语义相似度和相关度算法被提出。分析总结了树和图结构中影响概念相似度或相关度的因素,综述了基于本体的英文语义相似度和相关度计算方法,明确了语义相似度和相关度的区别与联... 详细信息

语义相似度和相关度计算广泛应用于自然语言处理中,已有大量语义相似度和相关度算法被提出。分析总结了树和图结构中影响概念相似度或相关度的因素,综述了基于本体的英文语义相似度和相关度计算方法,明确了语义相似度和相关度的区别与联系,系统地对算法进行了分类,最后对每类算法进行了详细的比较。

关键词：语义相似度语义相关度本体

在线全文

学校读者我要写书评

暂无评论

环视鱼眼图像处理深度学习研究进展

中国图象图形学报 2021年第12期26卷 2778-2799页

作者：包俊刘宏哲褚文博北京市信息服务工程重点实验室北京100101 北京联合大学机器人学院北京100101 国汽(北京)智能网联汽车研究院有限公司国家智能网联汽车创新中心北京100176

视觉环境感知在自动驾驶汽车发展中起着关键作用,在智能后视镜、倒车雷达、360°全景、行车记录仪、碰撞预警、红绿灯识别、车道偏移、并线辅助和自动泊车等领域也有着广泛运用。传统的环境信息获取方式是窄角针孔摄像头,视野有限有盲区... 详细信息

视觉环境感知在自动驾驶汽车发展中起着关键作用,在智能后视镜、倒车雷达、360°全景、行车记录仪、碰撞预警、红绿灯识别、车道偏移、并线辅助和自动泊车等领域也有着广泛运用。传统的环境信息获取方式是窄角针孔摄像头,视野有限有盲区,解决这个问题的方法是环境信息感知使用鱼眼镜头,广角视图能够提供整个180°的半球视图,理论上仅需两个摄像头即可覆盖360°,为视觉感知提供更多信息。处理环视图像目前主要有两种途径:一是对图像先纠正,去失真,缺点是图像去失真会损害图像质量,并导致信息丢失;二是直接对形变的鱼眼图像进行建模,但目前还没有效果比较好的建模方法。此外,环视鱼眼图像数据集的缺乏也是制约相关研究的一大难题。针对上述挑战,本文总结了环视鱼眼图像的相关研究,包括环视鱼眼图像的校正处理、环视鱼眼图像中的目标检测、环视鱼眼图像中的语义分割、伪环视鱼眼图像数据集生成方法和其他鱼眼图像建模方法等,结合自动驾驶汽车的环境感知应用背景,分析了这些模型的效率和这些处理方法的优劣,并对目前公开的环视鱼眼图像通用数据集进行了详细介绍,对环视鱼眼图像中待解决的问题与未来研究方向做出预测和展望。

关键词：自动驾驶环视鱼眼图像图像校正目标检测语义分割鱼眼图像数据集研究综述

在线全文

学校读者我要写书评

暂无评论

基于改进Enet网络的车道线检测算法

计算机科学 2020年第4期47卷 142-149页

作者：刘彬刘宏哲北京联合大学北京市信息服务工程重点实验室北京100101

针对实际驾驶环境中道路场景及车道线复杂多样的问题,提出一种基于改进Enet网络的车道线检测算法。首先,对Enet网络进行剪枝和卷积优化操作,并利用改进的Enet网络对车道线进行像素级图像语义分割,将车道线从图像中分离出来。然后,采用DB... 详细信息

针对实际驾驶环境中道路场景及车道线复杂多样的问题,提出一种基于改进Enet网络的车道线检测算法。首先,对Enet网络进行剪枝和卷积优化操作,并利用改进的Enet网络对车道线进行像素级图像语义分割,将车道线从图像中分离出来。然后,采用DBSCAN算法对分割结果进行聚类处理,将相邻车道线区分开来。最后,对车道线聚类结果进行自适应拟合,得到最终的车道线检测结果。该算法在香港中文大学的CULane数据集上进行了训练和测试,结果表明,其标准路面检测准确率达到96.3%,各种路面综合检测准确率为78.9%,图像帧处理速度为71.4fps,能够满足实际驾驶环境中的复杂路况和实时性需求。此外,该算法还在图森未来的TuSimple数据集和实采数据集LD-Data上进行了训练和测试,均取得了实时性的检测结果。

关键词：车道线检测图像语义分割聚类自适应拟合