检索结果-南通市图书馆

Triple Multimodal Cyclic Fusion and Self-Adaptive Balancing for video Q&A systems

Computers, Materials & Continua 2022年第12期73卷 6407-6424页

作者： Xiliang Zhang Jin Liu Yue Li Zhongdai Wu Y.Ken Wang College of Information Engineering Shanghai Maritime UniversityShanghaiChina Shanghai Ship and Shipping Research Institute ShanghaiChina COSCO Shipping Technology Co. LTDShanghaiChina Division of Management and Education University of PittsburghBradfordUSA

Performance of video question and answer(VQA)systems relies on capturing key information of both visual images and natural language in the context to generate relevant questions’***,traditional linear combinations of multimodal features focus only on shallow feature interactions,fall far short of the need of deep feature *** mechanisms were used to perform deep fusion,but most of them can only process weight assignment of single-modal information,leading to attention imbalance for different *** address above problems,we propose a novel VQA model based on Triple Multimodal feature Cyclic Fusion(TMCF)and Self-AdaptiveMultimodal Balancing Mechanism(SAMB).Our model is designed to enhance complex feature interactions among multimodal features with cross-modal information *** addition,TMCF and SAMB can be used as an extensible plug-in for exploring new feature combinations in the visual image *** experiments were conducted on MSVDQA and MSRVTT-QA *** results confirm the advantages of our approach in handling multimodal ***,we also provide analyses for ablation studies to verify the effectiveness of each proposed component.

关键词： video question and answer systems feature fusion scaling matrix attention mechanism

来源：

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：