检索结果-南通市图书馆

作者：朱佳昊华中科技大学

学位级别：硕士

近年来,互联网中图像、文字、视频、音频等多媒体数据的爆炸式增长,给传统深度学习和数据检索技术带来了新的挑战。其中,视频数据作为联系多种数据模态的重要纽带,具有很高的研究价值。本文围绕跨模态时域视频定位任务开展研究,这是一... 详细信息

近年来,互联网中图像、文字、视频、音频等多媒体数据的爆炸式增长,给传统深度学习和数据检索技术带来了新的挑战。其中,视频数据作为联系多种数据模态的重要纽带,具有很高的研究价值。本文围绕跨模态时域视频定位任务开展研究,这是一项结合了视频和文本的多模态深度学习任务,其目的是根据自然语言查询从视频中定位出与其语义一致的目标片段。这一任务有助于对网络中多种形式的海量视频数据的高效检索和深入分析,在提高社会生产效率、保障网络安全和社会安全等方面具有重要的现实意义。由于原始视频往往过长,现有方案会首先通过稀疏采样从原视频中抽取固定数目的视频帧,重构一个长度较短的视频,然后再将其与查询语句进行多模态交互来推断答案。然而,这一过程会给模型引入两类偏差:(1)边界偏差:目标视频片段表示为位于开始和结束时间点的两个边界帧,而视频稀疏采样过程可能会导致这两个关键边界帧的丢失,并且将相邻的无关帧作为新的边界;此外,在生成新的边界标签以及将预测结果转换回原始视频的过程中,需要通过舍入操作获取边界帧的整数索引,这会进一步加剧边界偏差;(2)推理偏差:这种错误的新边界帧和不准确的标签/预测转换过程会导致视频与查询的多模态交互过程中的错误对齐,引起模型的推理偏差。上述两种偏差会损害模型的鲁棒性和泛化能力,不仅降低模型的预测性能,还会给模型的安全性带来潜在隐患。为了解决这一问题,本研究提出了一种针对跨模态时域视频定位任务的孪生采样与推理方法(Siamese Sampling and Reasoning Network,SSRN),通过一种新型的孪生采样与推理策略在下采样视频帧附近抽取额外的上下文视频帧,并进一步学习这些采样帧之间的相关性,从而对新边界帧的语义信息进行丰富和细化,最终利用带浮点值的边界软标签实现更精确的目标片段预测。这一方法还能够补充所有稀疏的下采样帧中缺失的连续性视觉语义,从而帮助模型实现细粒度的视频理解。本文在三个具有挑战性的数据集上开展了丰富的实验,实验结果表明SSRN在三个数据集的每一个评价指标上都达到了最优表现,且SSRN在具有对比方案平均水平的参数量的基础上,实现了更快的处理速度,从而具有更好的落地应用潜力;相应的消融实验结果和可视化分析也证明了SSRN中每个模块的有效性和可解释性。

关键词：多模态深度学习跨模态时域视频定位孪生学习语义增强网络内容安全模型鲁棒性

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于改进Cascade R-CNN的织物瑕疵检测方法

引用

上海师范大学学报（自然科学版） 2023年第2期52卷 231-237页

作者：张银佟乐上海师范大学信息与机电工程学院上海201418

制造业瑕疵检测问题是工业产品的关键环节,其中织物瑕疵检测尤为关键.针对织物图像尺寸大、局部瑕疵数量少、图像背景复杂等问题,设计了一种基于Cascade R-CNN融合尺度不变特征的织物瑕疵检测方法.通过训练具有多个递增交并比(IoU)阈值... 详细信息

制造业瑕疵检测问题是工业产品的关键环节,其中织物瑕疵检测尤为关键.针对织物图像尺寸大、局部瑕疵数量少、图像背景复杂等问题,设计了一种基于Cascade R-CNN融合尺度不变特征的织物瑕疵检测方法.通过训练具有多个递增交并比(IoU)阈值的级联检测网络,解决了传统深度神经网络的过拟合和错配问题;针对工业生产上存在的待检测图片发生倾斜、偏转和迁移等问题,通过尺度不变特征变换(SIFT)算法对待检测织物图进行预处理,将其正确定位到模板图上对应位置后,再进行瑕疵检测;借鉴孪生学习的思路,通过扩充输入通道,同时输入并分析待检测的图像和模板,提高了瑕疵检测的精度.实验结果表明:该模型能够有效地完成瑕疵检测任务,可对7类织物瑕疵进行检测与分类,平均精度均值达87.5%.

关键词：织物瑕疵检测 Cascade R-CNN 尺度不变特征变换(SIFT) 孪生学习

来源：

维普期刊数据库

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：