检索结果-南通市图书馆

一种基于多模态信息融合的火车司机疲劳驾驶检测方法

在线全文

学校读者我要写书评

暂无评论

铁道学报 2022年第6期44卷 56-65页

作者：李小平白超兰州交通大学机电工程学院甘肃兰州730070

单一语音或视频特征的火车司机疲劳驾驶检测存在语音噪声干扰大、数据维数高、样本数据非平稳泛化误差以及视频采集角度、光线变化、脸部遮挡等导致疲劳检测误判率较高等问题。针对上述问题,提出一种基于多模态信息融合的火车司机疲劳... 详细信息

单一语音或视频特征的火车司机疲劳驾驶检测存在语音噪声干扰大、数据维数高、样本数据非平稳泛化误差以及视频采集角度、光线变化、脸部遮挡等导致疲劳检测误判率较高等问题。针对上述问题,提出一种基于多模态信息融合的火车司机疲劳驾驶检测方法,通过机车视频监控系统与呼叫应答装置采集司机视频与语音信号,采用串行结构的stacking集成学习模型实现视频模态与语音模态之间的互补与融合,通过多折交叉验证提高非线性表达能力,降低泛化误差,利用随机子空间算法降低语音特征参数维度,以长短期记忆网络作为初级学习器,以梯度提升决策树作为次级学习器,最终实现司机疲劳状态的精准检测。实验结果表明,该方法疲劳检测正确率达到97.0%,相比采用单一语音特征和视频图像特征的检测方法,正确率分别提高了7.4%和1.17%。

关键词：多模态信息融合疲劳驾驶检测 stacking集成学习梯度提升决策树

基于水下无线传感器阵列网络多模态信息融合的目标定位

在线全文

学校读者我要写书评

暂无评论

西北工业大学学报 2017年第6期35卷 1020-1025页

作者：金磊磊梁红马艳西北工业大学航海学院陕西西安710072

为了进一步提高海洋环境下无线传感器阵列网络(UWSAN)对被动目标三维定位的可靠性和定位精度,在推导多节点网络基于到达时间差(TDOA)定位和基于波达方向(DOA)定位的基础上,应用最小二乘原理,提出适用于UWSAN的TDOA-DOA多模态信息融合定... 详细信息

为了进一步提高海洋环境下无线传感器阵列网络(UWSAN)对被动目标三维定位的可靠性和定位精度,在推导多节点网络基于到达时间差(TDOA)定位和基于波达方向(DOA)定位的基础上,应用最小二乘原理,提出适用于UWSAN的TDOA-DOA多模态信息融合定位算法。通过计算机仿真将该信息融合算法与TDOA方法和DOA方法进行比较,结果表明,相对于单模态信息的定位算法,多模态信息融合算法的定位误差更小,性能更加稳定和可靠,具有实际的应用价值。

关键词：传感器阵列网络到达时间差波达方向多节点三维定位最小二乘多模态信息融合鲁棒控制目标跟踪

在线全文

学校读者我要写书评

暂无评论

多模态信息融合舰船目标识别研究进展

探测与控制学报 2024年第2期46卷 1-12页

作者：吴文静王中训但波邢子杰烟台大学物理与电子信息学院山东烟台264005 海军航空大学岸防兵学院山东烟台264001 山东工商学院山东烟台264026

舰船目标识别的信息源主要来自现代高分辨率成像雷达形成的舰船目标信息,包括高分辨距离像、船舶自动识别系统信息以及合成孔径雷达成像。在对海探测环境相对复杂的情况下,基于单模态信息对海上舰船目标识别的能力有限,而利用多模态信... 详细信息

舰船目标识别的信息源主要来自现代高分辨率成像雷达形成的舰船目标信息,包括高分辨距离像、船舶自动识别系统信息以及合成孔径雷达成像。在对海探测环境相对复杂的情况下,基于单模态信息对海上舰船目标识别的能力有限,而利用多模态信息融合将更有益于实现对海上目标高效的侦察监视和识别。首先,对单模态舰船目标识别方法进行梳理和总结,分析目前不同舰船目标识别方法存在的优势和不足;然后对多模态信息融合舰船目标识别常用数据集进行介绍,并对新方法、新模型进行了深入分析;最后对舰船目标识别未来发展趋势进行展望,为后续基于多模态信息融合的舰船目标识别方法研究提供参考。

关键词：高分辨距离像船舶自动识别系统合成孔径雷达多模态信息融合舰船目标识别

在线健康社区医生多模态信息融合对患者决策行为影响研究

在线全文

学校读者我要写书评

暂无评论

现代情报 2022年第8期42卷 37-49页

作者：陈东华张润彤对外经济贸易大学信息学院北京100029 北京交通大学经济管理学院北京100044

[目的/意义]在线健康社区医生文本帖子、语音文章、视频文章、头像等多模态信息对患者用户决策行为的影响机制仍然需要进一步研究。[方法/过程]本文以好大夫在线网站的医生与患者数据为基础,融合平台中医生语音、视频、头像等多模态信... 详细信息

[目的/意义]在线健康社区医生文本帖子、语音文章、视频文章、头像等多模态信息对患者用户决策行为的影响机制仍然需要进一步研究。[方法/过程]本文以好大夫在线网站的医生与患者数据为基础,融合平台中医生语音、视频、头像等多模态信息进行研究,探讨多模态数据驱动下医生与患者在线平台交互的机制。[结果/结论]医生发布的各类多模态信息对其态度、服务和治疗水平的评价具有正向影响,提升患者对医生的好感和付费意愿,也拉近了医生与患者之间的关系。

关键词：在线健康社区多模态信息融合患者行为决策支持

基于多模态信息融合的变压器在线故障诊断方法

在线全文

学校读者我要写书评

暂无评论

电子测量与仪器学报 2024年第9期38卷 95-103页

作者：邢致恺何怡刚姚其新武汉大学电气与自动化学院武汉430072 国网湖北省电力有限公司直流公司宜昌443000

针对变压器的多模态数据中存在差异性和样本缺失的问题,提出了一种基于振动信号和红外图像数据的多模态信息融合方法,分析多模态数据对电力变压器故障状态进行有效、快速的评估。首先,该方法采用双向门控神经网络对振动信号的文本信息... 详细信息

针对变压器的多模态数据中存在差异性和样本缺失的问题,提出了一种基于振动信号和红外图像数据的多模态信息融合方法,分析多模态数据对电力变压器故障状态进行有效、快速的评估。首先,该方法采用双向门控神经网络对振动信号的文本信息、振动信号的频域图和变压器的红外图像分别进行特征提取,并获得不同模态的重要特征向量。然后,使用交叉注意力机制建立不同模态之间的联系并进行特征向量融合。最后,通过卷积层和全链接层输出电力变压器的故障状态。实验数据采集于10 kV变压器,含振动信号和变压器的红外图像。实验结果表明,提出的多模态信息融合方法在4种评价指标上优于对比方法,其故障诊断准确率为96%。在不同的电压和电流等级下多模态信息融合方法能获得较为可靠的诊断结果且准确率高,可为变压器多模态数据的故障检测提供方法。

关键词：故障诊断电力变压器多模态信息融合深度学习神经网络

在线全文

学校读者我要写书评

暂无评论

基于多模态信息融合的心理负荷评估

中国安全生产科学技术 2022年第12期18卷 12-18页

作者：郝腾腾郑欣王慧宇许开立朱奕嬴东北大学资源与土木工程学院辽宁沈阳110819

为了相对稳定地识别人员是否处于心理负荷状态,设计并实施含能材料起爆作业心理负荷诱导试验。首先对心理负荷诱导情况进行判断,然后分别采集27名被试在静息状态和实施含能材料撞击起爆作业状态下的眼动、心率变异性(HRV)和脑电信号(EE... 详细信息

为了相对稳定地识别人员是否处于心理负荷状态,设计并实施含能材料起爆作业心理负荷诱导试验。首先对心理负荷诱导情况进行判断,然后分别采集27名被试在静息状态和实施含能材料撞击起爆作业状态下的眼动、心率变异性(HRV)和脑电信号(EEG),通过正态性检验和假设检验获得心理负荷表征指标并进行统计功效分析,依据表征指标,采用支持向量机(SVM)和随机森林(RF)算法建立多模态信息融合的心理负荷评估模型,最后采用被试工作特征曲线(ROC曲线)分析各模态组合和分类器的心理负荷识别性能。研究结果表明:双模态(眼动+EEG)下SVM算法和3模态下RF算法评估性能和稳健性较高,多模态信息组合具有优异的识别效果。

关键词：心理负荷眼动心率变异性(HRV) 脑电信号(EEG) 多模态信息融合支持向量机(SVM) 随机森林(RF)

多模态信息融合在智能网联汽车交通事故鉴定中的应用探索

在线全文

学校读者我要写书评

暂无评论

中国司法鉴定 2024年第5期 18-26页

作者：冯浩吴何坚陈丰刘嘉鲯同济大学道路与交通工程教育部重点实验室上海201804 司法鉴定科学研究院上海市司法鉴定专业技术服务平台司法部司法鉴定重点实验室上海200063 上海市公安局交通警察总队上海市公安局智能网联汽车交通安全研究重点实验室上海201315

随着智能网联汽车产业快速发展,智能网联汽车的事故调查受到各地政府和主管部门的重视。首先,从交通事故鉴定的角度出发,针对智能网联汽车普遍存在的多源异构信息,从典型信息的执行标准、功能认证、车型范围、存储位置和获取途径等方面... 详细信息

随着智能网联汽车产业快速发展,智能网联汽车的事故调查受到各地政府和主管部门的重视。首先,从交通事故鉴定的角度出发,针对智能网联汽车普遍存在的多源异构信息,从典型信息的执行标准、功能认证、车型范围、存储位置和获取途径等方面进行分析。其次,结合道路交通事故的调查取证规则和鉴定意见的证据要求,对智能网联汽车事故的典型信息进行溯源分析和证据力分析。再次,根据智能网联汽车事故调查目的和鉴定需求,结合其多源异构特点,提出多模态信息校验和融合。最后,对智能网联汽车的事故调查方法和事故鉴定技术进行展望。

关键词：智能网联汽车交通事故鉴定多模态信息融合

基于多模态信息融合理论的信息技术外包人才培养课程体系构建

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

中国高教研究 2015年第3期 86-88页

作者：沈洪马楠陈宇北京联合大学网络中心主任副教授北京100101 北京联合大学信息学院教科办主任北京100101 甲骨文(中国)软件系统有限公司技术研发总监北京100004

以信息技术外包人才培养实际需求为出发点,提出基于多模态信息融合理论的信息技术外包人才培养课程体系框架,采用需求融合、素质融合、能力融合、知识融合和标准融合五层架构,旨在实现对课程体系的重构和优化。以此为基石,构建了信息技... 详细信息

以信息技术外包人才培养实际需求为出发点,提出基于多模态信息融合理论的信息技术外包人才培养课程体系框架,采用需求融合、素质融合、能力融合、知识融合和标准融合五层架构,旨在实现对课程体系的重构和优化。以此为基石,构建了信息技术外包人才培养课程体系,应用到北京联合大学服务外包人才培养模式创新实验区。近几年教学改革实践表明,基于多模态信息融合理论的课程体系架构有效实现了信息技术外包复合应用型人才培养目标。

关键词：信息技术外包多模态信息融合人才培养课程体系

基于多模态信息融合的智能高速铁路旅客运输保障技术研究

在线全文

学校读者我要写书评

暂无评论

铁道运输与经济 2023年第2期45卷 47-53页

作者：汪健雄阎志远张瀛丹李祯怡中国铁道科学研究院集团有限公司电子计算技术研究所北京100081

2022年北京冬奥会是全球首个三赛区联动的一场冰雪盛会,京张高速铁路作为重要配套工程,研究高质量运输保障技术具有重要意义。以此为背景,提出多模态信息融合应用于铁路票务体系的概念及技术架构;采用定量定性结合方法,基于多模态信息... 详细信息

2022年北京冬奥会是全球首个三赛区联动的一场冰雪盛会,京张高速铁路作为重要配套工程,研究高质量运输保障技术具有重要意义。以此为背景,提出多模态信息融合应用于铁路票务体系的概念及技术架构;采用定量定性结合方法,基于多模态信息融合理论进行多元运输客流成分分析,提出冬奥会赛时客流预测手段,研究并构建了多元客流高速铁路运输模式匹配、复杂非常态票额及席位管理、列车超停控制与预警的旅客运输保障体系。研究结论及成果为冬奥运输与旅客需求匹配提供了理论支撑,提供了管理精细化、流线不交叉的组织策略,有效降低了疫情扩散风险和社会面疫情管理成本,辅助保障冬奥列车的运输安全,并在冬奥会期间京张高速铁路运营过程中得到验证。

关键词：京张高速铁路多模态信息融合客流分析旅客运输保障北京冬奥会