检索结果-南通市图书馆

视觉Transformer中基于注意力机制的轻量化方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

视觉Transformer中基于注意力机制的轻量化方法研究

作者：卞喆吉林大学

学位级别：硕士

计算机视觉是人工智能中一个重要的研究领域,它旨在利用算法和技术,使计算机能够从图像或视频中获取信息,并对这些信息进行分析和理解。随着时代的发展和技术的进步,计算机视觉的重要性也日益凸显,其应用遍及各行各业,对商业、娱乐、医... 详细信息

计算机视觉是人工智能中一个重要的研究领域,它旨在利用算法和技术,使计算机能够从图像或视频中获取信息,并对这些信息进行分析和理解。随着时代的发展和技术的进步,计算机视觉的重要性也日益凸显,其应用遍及各行各业,对商业、娱乐、医疗等领域产生广泛的影响。视觉Transformer自被提出以来,由于其优异的表现,在计算机视觉领域逐渐得到广泛的应用,但是由于其注意力机制的特性,在训练和测试时往往需要高昂的计算资源。这也导致其在处理视频、高分辨率图像等任务上需要大量的资源,并且难以部署到边缘设备上。近年来很多研究人员针对视觉Transformer的计算资源耗费问题从不同角度进行相应的改进,本文在相关研究的基础上,针对两种不同结构但广泛使用的视觉Transformer,提出相应的改进方法,旨在减少模型计算资源耗费的同时尽可能降低其精度损失。本文主要研究内容如下:(1)针对直筒型Transformer轻量化方法中的Token裁剪方法,优化其Token选择阶段的重要性评价指标,使Token选择阶段选择出来的Token更具有代表性,准确地保留图像输入的重要信息;对现有Token裁剪方法中只关注重要Token而忽略不重要Token的作用进行改进,提出将不重要Token按相关性融合到重要Token上的方法,以此保证图像信息的完整性;提出多尺度模块并通过相应方法减少引入多尺度带来的计算量,使得模型捕获不同层次的信息,丰富图像输入的特征表示的同时几乎不引入额外计算量。实验结果证明本文提出的优化方法的有效性,例如,在Image Net数据集上,本文提出方法在Dei T-S模型上实现使其计算成本降低33%,同时准确率仅下降0.1%的表现。(2)针对金字塔型Transformer,通过分析相邻Transformer Block的注意力图和注意力后特征之间的相似性,定位模型中多头注意力机制存在的冗余计算,并据此提出快速注意力机制用来代替原始注意力机制以减少模型计算量和参数量;将直筒型Transformer上的Token裁剪方法根据金字塔型Transformer的结构特性进行定制化移植,提出前馈神经网络局部快速更新方法,即对于重要Token正常更新,对于不重要Token使用较少计算量模块进行更新,减少模型针对不重要信息的冗余计算;将快速注意力机制和前馈神经网络局部快速更新两种方法结合起来部署到模型上,进一步减少模型的参数量和计算量。实验结果表明本文提出的方法可以针对金字塔型Transformer简化其计算过程,同时保持模型精度。例如,在Image Net数据集上,将本文提出方法部署在PVT-S上,可以使其计算量减少13%,同时精度提升0.1%。

关键词：计算机视觉 Transformer 模型轻量化

基于小红书平台用户评论的BD小家电网络营销策略优化研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于小红书平台用户评论的BD小家电网络营销策略优化研究

作者：张越喆云南师范大学

学位级别：硕士

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

行政协议先合同阶段诚实信用原则的适用

济南大学学报（社会科学版） 2024年第5期34卷 171-183页

作者：刘赫喆山东师范大学法学院山东济南250358

诚实信用原则作为先合同阶段通用的法理依据,在行政协议中同样适用。鉴于行政协议的行政属性,对于行政主体先合同义务的履行,诚实信用原则具象化为维护公平竞争、限制优益权行使等善意要求,以及平衡公共利益与个人利益、合理配置权力与... 详细信息

诚实信用原则作为先合同阶段通用的法理依据,在行政协议中同样适用。鉴于行政协议的行政属性,对于行政主体先合同义务的履行,诚实信用原则具象化为维护公平竞争、限制优益权行使等善意要求,以及平衡公共利益与个人利益、合理配置权力与权利等衡平要求,以此确保行政协议缔结合法,缔约双方意思表示真实准确,且协商充分有效。鉴于诚实信用原则中各要素涵盖了依法行政原则、信赖保护原则、比例原则等其他原则的内在要求,故将其作为先合同阶段优先遵循的基本原则。但由于诚实信用原则主要用于规制缔约双方,因此行政主体对社会公众承担的公开、组织参与等程序性先合同义务,应当通过相应程序性要求予以补充,以此确保先合同阶段缔约行为规制的全面性。

关键词：先合同阶段诚实信用原则行政协议先合同义务

维普期刊数据库

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

操作系统内核态调优的机器学习方法研究

操作系统内核态调优的机器学习方法研究

作者：常明喆电子科技大学

学位级别：硕士

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

山东省R市政府节约型机关建设问题研究

山东省R市政府节约型机关建设问题研究

作者：尚明喆中共山东省委党校

学位级别：硕士

如何建设节约高效的政府机构,提升政府效率和效能,一直以来都是公共管理领域的一个重点内容。为了深入贯彻绿色低碳的新发展理念,党政机关和事业单位率先推动了节约型机关建设工作,主要目的是降低机关运行成本,提升机关效率效能,引领带... 详细信息

如何建设节约高效的政府机构,提升政府效率和效能,一直以来都是公共管理领域的一个重点内容。为了深入贯彻绿色低碳的新发展理念,党政机关和事业单位率先推动了节约型机关建设工作,主要目的是降低机关运行成本,提升机关效率效能,引领带动社会更加主动地参与到节约型社会构建工作中。节约型机关建设一方面有助于政府机构通过合理利用资源、减少浪费,节省大量的资源用于提升公共服务效能。另一方面有助于政府机构通过优化工作流程、提高工作效率,为公众提供更加便捷、高效和优质的服务。此外,节约型机关还有助于通过减少能源消耗、降低碳排放,促进保护环境和推动可持续发展。虽然目前节约型机关建设工作的内容主要集中在节约能源和限制浪费上,但随着经济和社会的不断发展,节约型机关建设的内容必将更将全面完善,也必将对政府机构的建设发展产生深远的意义。R市近年来在节约型机关建设工作上取得了很多的成绩,在倡导带动全社会节约能源上发挥了积极的作用。本文采用理论和实践相结合的方式,通过对R市公共机构的数据分析、问卷调查、访谈座谈等方法对R市节约型机关建设现状进行了深入分析,在对比典型城市建设节约型机关的经验做法基础上,研究分析得出了R市节约型机关建设工作中存在的主要问题和原因,并提出了对策建议。R市节约型机关建设工作存在的主要问题有组织体系运行不畅、认识不够统一、管理制度体系不完善、常态化建设规划不足、指标设置不够科学、人财物保障力度不足。其主要原因在于理论与实践的结合还不够紧密、组织协调机制不够健全、管理制度缺乏系统规划、激励机制使用配合不到位、宣传工作与实际结合不够紧密以及各类保障存在较大困难。根据以上问题和原因,提出以下建议,深入推动理论研究与调研工作、进一步理顺工作机制、构建科学管理制度体系、优化指标评价和激励监督机制、提高宣传工作质量以及优化资源配置。

关键词：节约型机关机关运行成本节能

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

中国民法典评注:理论基础与愿景使命

交大法学 2024年第4期 31-47页

作者：朱晓喆上海财经大学法学院

当代对于大陆法系产生深远影响的法律评注兴起于德国。典型的法律评注作品根据法典的结构和顺序展开法律的逐条评释,以解释说明现行法及其适用为目的。与此不同,法学教科书以阐述法学基本原理为宗旨,侧重学术讨论;立法释义书以说明立法... 详细信息

当代对于大陆法系产生深远影响的法律评注兴起于德国。典型的法律评注作品根据法典的结构和顺序展开法律的逐条评释,以解释说明现行法及其适用为目的。与此不同,法学教科书以阐述法学基本原理为宗旨,侧重学术讨论;立法释义书以说明立法目的为主,但缺少司法裁判规则的整理和归纳。一部理想的法律评注,应当汇集和整合制定法、法学理论和司法裁判,体系地反映现行法的状况。法律评注与法教义学具有同构共生的关系,是法教义学的重要载体。法律评注比法教义学更加依赖实证法,当代编撰中国民法典评注的条件已经基本具备。编撰中国民法典评注应当融合法教义学与司法实务,注重体系思维与论题思维的互补。民法典评注的完成,将对我国民法教学事业和民法学术话语体系的建设起到至关重要的作用。在当今信息科技日新月异发展的时代,法律评注在专业分析、知识创新、价值判断等方面具有相对的优势,暂时不会被人工智能所取代。

关键词：民法典法律评注法教义学话语体系法律科技