检索结果-南通市图书馆

多模态感知教学理论在初中英语词汇教学中的应用——理论分析、教学设计和评价维度

在线全文

学校读者我要写书评

暂无评论

教育进展 2024年第4期14卷 201-207页

作者：魏义顺夏文熠喀什大学外国语学院新疆喀什

英语词汇学习一直是很多英语学习者的痛点,词汇学习的成败直接关系到句子和语篇的学习,因此英语词汇教学研究至关重要。近年来多模态教学模式在外语教学领域的研究层出不穷,鉴于初中学段学生学习的重要性和特殊性,作者将多模态理论和感... 详细信息

英语词汇学习一直是很多英语学习者的痛点,词汇学习的成败直接关系到句子和语篇的学习,因此英语词汇教学研究至关重要。近年来多模态教学模式在外语教学领域的研究层出不穷,鉴于初中学段学生学习的重要性和特殊性,作者将多模态理论和感知学习风格理论相结合,以学生的学习风格为基础,以多模态教学为手段,以新课程“教–学–评”一体化理念为引领,针对性地构建出涉及教学准备、教学实践和教学评价的多模态感知教学设计,以期为提高我国初中学段学生的英语核心素养和我国的外语教学成效提供一些思路和借鉴。

关键词：多模态感知学习风格初中英语词汇

基于视觉-语言多模态感知的目标跟踪方法研究

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

基于视觉-语言多模态感知的目标跟踪方法研究

作者：朱林威郑州轻工业大学

学位级别：硕士

随着计算机硬件性能的提升和机器学习理论的不断进步,视频目标跟踪在无人驾驶、视频监控、人机交互等领域呈现出显著的应用前景和重要价值。深度学习的迅速发展为目标跟踪领域带来了巨大的推动力。然而,任意的跟踪目标和复杂多变的跟踪... 详细信息

随着计算机硬件性能的提升和机器学习理论的不断进步,视频目标跟踪在无人驾驶、视频监控、人机交互等领域呈现出显著的应用前景和重要价值。深度学习的迅速发展为目标跟踪领域带来了巨大的推动力。然而,任意的跟踪目标和复杂多变的跟踪场景给目标跟踪带来了巨大的挑战。如何建立强大的目标外观模型成为实现鲁棒跟踪的关键因素。传统的目标跟踪方法依赖于单一模态目标视觉深度特征进行研究和建模,但由于目标外观和跟踪场景的多变,在面对相似干扰时往往难以准确定位跟踪目标。因此,本文主要研究如何在单一视觉模态和视觉-语言多模态中挖掘并进一步强化目标的外观模型,从而实现更加鲁棒的跟踪。本文的主要研究内容和创新点如下:(1)提出一种基于视觉单模态自适应干扰感知的在线目标跟踪算法(Adaptive Distractor-Aware for Online Visual Tracking)。首先,为了充分利用背景信息,设计了一个干扰感知模型,选取干扰较小的主导特征通道进行目标表征。此外,为了使目标模型能够很好地处理具有挑战性的场景,提出了一种自适应权重感知策略,该策略可以在跟踪过程中依据目标和背景信息自适应调整特征通道权重。最后,提出了一种动态模板更新策略,以适应目标外观的变化。该策略通过提出的增强置信度评估器对跟踪结果进行评价,该评估器对好的模板具有更大的置信度,引导可靠模板样本到表征模型中,进一步增强模板的自适应性,以增强跟踪器的鲁棒性。在广泛使用的OTB100、TC-128、UAV123、VOT2016和VOT2018等公开目标跟踪数据集上进行测试评估,与最近先进的跟踪器相比,所提出的跟踪器性能更加卓越。实验结果证明本方法提出的跟踪器能够有效利用目标背景信息,在相似物体干扰、背景杂波等挑战下具有较强的适应性。(2)提出一种基于视觉-语言多模态联合感知单流目标跟踪算法(Vision-Language Multimodal Joint Perception One-stream Object Tracking,VLMP)。首先,设计了一种语言引导的目标感知外观建模策略,引入语言和视觉信息共同进行目标表征,利用稳定的语言特征选择更有效的视觉特征,结合自注意机制对两种多模态信息进行深度对齐和增强,提高目标模型的适应性。其次,为了更好的分类和回归,提出了一种视觉-语言多模态感知Tokens消除模块,该模块利用稳定的语言特征和语言感知过的有效视觉特征,通过自注意力强相似先验计算,提前去除搜索区域内的非目标特征,提高了跟踪速度和准确性。最后,将VLMP统一到一个基于Transformer的视觉-语言单流跟踪框架中,该框架具有更灵活的交互特征学习和关系建模,在LaSOT和TNL2K两个大型的自然语言跟踪数据集上取得了卓越的成绩,展现了出色的跟踪性能。

关键词：目标跟踪深度学习视觉-语言融合多模态感知 Transformer

基于多模态感知的变电设备健康状态监测技术研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

现代制造技术与装备 2024年第S2期 107-109页

作者：卢尧傅慧华姜春娇国网江苏省电力有限公司南通供电分公司

随着电网规模的扩大和智能化水平的提升，变电设备的健康状态监测变得尤为重要。本研究旨在探讨基于多模态感知的变电设备健康状态监测技术，通过融合多种传感器数据，实现设备状态的全面、实时、准确监测，重点分析多模态感知技术的原... 详细信息

随着电网规模的扩大和智能化水平的提升，变电设备的健康状态监测变得尤为重要。本研究旨在探讨基于多模态感知的变电设备健康状态监测技术，通过融合多种传感器数据，实现设备状态的全面、实时、准确监测，重点分析多模态感知技术的原理、方法及其在变电设备监测中的应用，并评估该技术的有效性和可行性。实验结果表明，该技术能显著提升变电设备状态监测的准确性和效率，为电网的安全稳定运行提供了有力保障。

关键词：多模态感知变电设备健康状态监测传感器融合智能化

基于多模态感知的儿童有声读物APP导航界面设计

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

工业设计 2024年第5期 108-112页

作者：王聪聪杨梅张业辉山东科技大学艺术学院青岛266590

为优化儿童有声读物APP导航界面中元素过于复杂和缺乏引导性所导致的操作不协调、认知负荷增加的问题,文章通过对界面进行重新筹划布局,综合色彩运用、语音交互和触觉反馈因素,提出基于多模态感知体验的儿童有声读物APP界面交互系统。... 详细信息

为优化儿童有声读物APP导航界面中元素过于复杂和缺乏引导性所导致的操作不协调、认知负荷增加的问题,文章通过对界面进行重新筹划布局,综合色彩运用、语音交互和触觉反馈因素,提出基于多模态感知体验的儿童有声读物APP界面交互系统。使用穿戴式眼动仪进行眼动实验测试,将眼动数据进行配对样本t检验对比分析,得到适用于儿童操作的界面元素组合方式,进而优化导航界面,以期为相关设计提供一定的参考。

关键词：工业设计多模态感知儿童有声读物眼动追踪 APP界面交互设计

多模态感知驱动下高堆石坝施工仿真参数集成深度学习模型

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

水利学报 2022年第9期53卷 1049-1063,1072页

作者：张君王金国余佳赵豪张东明王晓玲天津大学水利工程仿真与安全国家重点实验室天津300072 雅砻江流域水电开发有限公司四川成都610000

现有施工仿真参数建模方法主要依靠单一模态数据,且现有多模态数据采集过程存在一定的滞后性,导致仿真的实时性和准确性不足。针对上述问题,本文提出了多模态感知驱动下高堆石坝施工仿真参数集成深度学习模型。首先,在SpringBoot框架下... 详细信息

现有施工仿真参数建模方法主要依靠单一模态数据,且现有多模态数据采集过程存在一定的滞后性,导致仿真的实时性和准确性不足。针对上述问题,本文提出了多模态感知驱动下高堆石坝施工仿真参数集成深度学习模型。首先,在SpringBoot框架下开发了基于移动智能手机传感器的运动学和声学数据实时采集云平台,并采用低通滤波器和梅尔频谱等方法实现堆石坝施工机械多模态数据的实时采集与预处理;其次,提出了用于自动提取多模态数据特征的堆石坝施工机械精细活动状态识别深度学习模型。该模型集成了改进深度卷积长短期记忆循环神经网络(Improved DeepConvLSTM,IDeepConvLSTM)与深度卷积神经网络的优势,前者可精确感知施工机械运动方向,后者可从声音模态中感知施工机械振动状态。其中,IDeepConvLSTM在卷积层中间加入批量归一化层以提高收敛速度,并采用梯度缩放和剪裁以避免梯度爆炸的问题;进一步地,在云平台中采用大窗口移动过滤器在线处理机械活动识别结果,实现堆石坝施工仿真参数的实时建模。工程案例表明,相比于单一的运动学或声学模态的机械活动识别方法,本研究所提方法的识别精度分别提高了9.22%和23.62%。研究成果为提高堆石坝施工仿真的准确性和实时性提供了新的思路和技术手段,具有一定的应用和推广价值。

关键词：高堆石坝施工仿真参数实时建模多模态感知集成深度学习移动智能传感器

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

机器联觉:通信与多模态感知的智能融合

模式识别与人工智能 2023年第11期36卷 967-986页

作者：程翔张浩天李思江黄子蔚杨宗辉高诗简白露张嘉楠郑心湖杨柳青北京大学电子学院北京100871 Samsung Semiconductor Samsung SoC Research and Development LabSan DiegoCA 92121USA 山东省工业技术研究院济南250100 山东大学山东大学-南洋理工大学人工智能国际联合研究院济南250101 香港科技大学(广州)智能交通学域广州511455 香港科技大学(广州)物联网学域广州511455 香港科技大学电子及计算机工程学系中国香港999077

通信感知一体化技术局限于雷达感知与通信在频谱和硬件层面上的共享,不足以提升新兴应用场景中通信与感知的性能.在涵盖海量多模态感知和通信数据的场景中,通信感知一体化技术应向考虑多模态感知的方向进行范式演进,即通信与多模态感知... 详细信息

通信感知一体化技术局限于雷达感知与通信在频谱和硬件层面上的共享,不足以提升新兴应用场景中通信与感知的性能.在涵盖海量多模态感知和通信数据的场景中,通信感知一体化技术应向考虑多模态感知的方向进行范式演进,即通信与多模态感知的智能融合.受人类联觉现象启发,文中系统化建立并论述通信和多模态感知智能融合的范式——机器联觉.首先,总结机器联觉3种典型工作模式:唤起模式、增强模式、合作模式,系统全面给出通信和多模态感知之间相互辅助增强的目的与方式.然后,介绍机器联觉研究的数据基础(通信与多模态感知智能融合仿真数据集)和理论基础(通信与多模态感知联觉机理).最后,综述当前机器联觉的研究现状,并展望未来的研究方向.

关键词：机器联觉(SoM) 通信感知一体化多模态感知人工神经网络机器联觉机理

应用于毫米波车车通信的多模态感知辅助波束预测

在线全文

学校读者我要写书评

暂无评论

模式识别与人工智能 2023年第11期36卷 997-1008页

作者：文韦博张浩天高诗简程翔杨柳青北京大学电子学院北京100871 Samsung Semiconductor Samsung SoC Research and Development LabSan DiegoCA 92121USA 香港科技大学(广州)智能交通学域广州511455 香港科技大学(广州)物联网学域广州511455 香港科技大学电子及计算机工程学系中国香港999077

为了确保车联网通信的传输可靠性,大规模多天线技术的毫米波通信亟需精确的波束赋形.在高动态的车辆通信环境下,传统的波束对准方式会造成巨大的资源开销,难以在相干时间内建立可靠链路.因此,文中提出基于多模态感知信息辅助的波束预测... 详细信息

为了确保车联网通信的传输可靠性,大规模多天线技术的毫米波通信亟需精确的波束赋形.在高动态的车辆通信环境下,传统的波束对准方式会造成巨大的资源开销,难以在相干时间内建立可靠链路.因此,文中提出基于多模态感知信息辅助的波束预测方案.该方案融合视觉和激光雷达点云两种非射频感知信息,利用深度神经网络进行多模态信息的特征提取,通过透视投影实现图像空间语义信息和物理空间位置信息的精准匹配和深度融合.通过协同感知坐标校正和车辆位置预测,将物理环境的特征精确映射到角域信道,从而实现实时准确的波束预测.在多模态感知仿真数据集(M3SC)上的测试结果表明,文中方案能实现较高的角度追踪精度和可达通信速率.

关键词：车辆通信网络车车通信通信感知一体化多模态感知波束预测深度学习

融合超像素与多模态感知网络的遥感影像车辆检测

在线全文

学校读者我要写书评

暂无评论

光学精密工程 2023年第6期31卷 905-919页

作者：连远锋李光洋沈韶辰中国石油大学(北京)信息科学与工程学院北京102249 中国石油大学(北京)石油数据挖掘北京市重点实验室北京102249

针对遥感影像车辆检测中背景干扰、目标密集和目标异质性等因素引起的识别精度下降问题,提出了一种融合超像素与多模态感知网络的遥感影像车辆检测方法。首先,基于混合超像素的区域合并规则,通过超像素二分图融合算法将两种模态的超像... 详细信息

针对遥感影像车辆检测中背景干扰、目标密集和目标异质性等因素引起的识别精度下降问题,提出了一种融合超像素与多模态感知网络的遥感影像车辆检测方法。首先,基于混合超像素的区域合并规则,通过超像素二分图融合算法将两种模态的超像素分割结果进行融合,提升了不同模态图像超像素分割结果的准确性;其次,提出一种多模态边缘感知网络的遥感影像车辆检测方法 MEANet (Multi-modal Edge Aware Network),引入OPT-FPN模块(Optimized Feature Pyramid Networks)来增强网络学习多尺度目标特征的能力;最后,通过边缘感知模块聚合超像素和多模态融合模块生成的两组边缘特征,进而生成车辆目标的准确边界。在ISPRS Potsdam和ISPRS Vaihingen遥感影像数据集上进行实验,最终的mF1分数分别为91.05%和85.11%。实验结果表明,本文提出的方法在多模态遥感影像车辆高精度检测中有着较好的检测准确度和较好的应用价值。

关键词：超像素多模态感知遥感影像车辆检测

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

竖屏传播:央视春晚的多模态感知与情感体验

现代传播（中国传媒大学学报） 2022年第11期44卷 104-111页

作者：李飞雪张钰惠中国传媒大学新闻学院

央视春晚在2022年首次推出的竖屏传播,有效地提升了互联网移动用户的观感体验,实现了传统电视端“大屏”与互联网移动端“小屏”的互动交融与同播共享。央视春晚的竖屏传播,从内容、媒介、受众这三个信息传播的基本要素,全方位构建了影... 详细信息

央视春晚在2022年首次推出的竖屏传播,有效地提升了互联网移动用户的观感体验,实现了传统电视端“大屏”与互联网移动端“小屏”的互动交融与同播共享。央视春晚的竖屏传播,从内容、媒介、受众这三个信息传播的基本要素,全方位构建了影像模态的情感交互、声音模态的私密超越、文字模态的互动共享,开创了互联网移动用户对央视春晚多模态叙事的全新感知与情感体验。

关键词：竖屏传播央视春晚多模态感知情感体验