检索结果-南通市图书馆

Vision Transformers with Hierarchical Attention

Machine Intelligence Research 2024年第4期21卷 670-683页

作者： Yun Liu Yu-Huan Wu Guolei Sun Le Zhang Ajad Chhatkuli Luc Van Gool Institute for Infocomm Research(I2R) A*STARSingapore 138632Singapore Institute of High Performance Computing(IHPC) A*STARSingapore 138632Singapore Computer Vision Lab ETH ZürichZürich 8092Switzerland School of Information and Communication Engineering University of Electronic Science and Technology of China(UESTC)Chengdu 611731China

This paper tackles the high computational/space complexity associated with multi-head self-attention(MHSA)in vanilla vision *** this end,we propose hierarchical MHSA(H-MHSA),a novel approach that computes self-attention in a hierarchical ***,we first divide the input image into patches as commonly done,and each patch is viewed as a ***,the proposed H-MHSA learns token relationships within local patches,serving as local relationship ***,the small patches are merged into larger ones,and H-MHSA models the global dependencies for the small number of the merged *** last,the local and global attentive features are aggregated to obtain features with powerful representation *** we only calculate attention for a limited number of tokens at each step,the computational load is reduced ***,H-MHSA can efficiently model global relationships among tokens without sacrificing fine-grained *** the H-MHSA module incorporated,we build a family of hierarchical-attention-based transformer networks,namely *** demonstrate the superiority of HAT-Net in scene understanding.we conduct extensive experiments on fundamental vision tasks,including image classification,semantic segmentation,object detection and instance ***,HAT-Net provides a new perspective for vision *** and pretrained models are available at https://***/yun-liu/HAT-Net.

关键词： Vision transformer hierarchical attention global attention local attention scene understanding.

来源：

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：