检索结果-南通市图书馆

Large-scale Multi-modal Pre-trained Models: A Comprehensive Survey

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

Machine Intelligence Research 2023年第4期20卷 447-482页

作者： Xiao Wang Guangyao Chen Guangwu Qian Pengcheng Gao Xiao-Yong Wei Yaowei Wang yonghong tian Wen Gao Peng Cheng Laboratory Shenzhen518055China School of Computer Science and Technology Anhui UniversityHefei230601China School of Computer Science Peking UniversityBeijing100871China College of Computer Science Sichuan UniversityChengdu610065China

With the urgent demand for generalized deep models,many pre-trained big models are proposed,such as bidirectional encoder representations(BERT),vision transformer(ViT),generative pre-trained transformers(GPT),etc.Inspired by the success of these models in single domains(like computer vision and natural language processing),the multi-modal pre-trained big models have also drawn more and more attention in recent years.In this work,we give a comprehensive survey of these models and hope this paper could provide new insights and helps fresh researchers to track the most cutting-edge works.Specifically,we firstly introduce the background of multi-modal pre-training by reviewing the conventional deep learning,pre-training works in natural language process,computer vision,and speech.Then,we introduce the task definition,key challenges,and advantages of multi-modal pre-training models(MM-PTMs),and discuss the MM-PTMs with a focus on data,objectives,network architectures,and knowledge enhanced pre-training.After that,we introduce the downstream tasks used for the validation of large-scale MM-PTMs,including generative,classification,and regression tasks.We also give visualization and analysis of the model parameters and results on representative downstream tasks.Finally,we point out possible research directions for this topic that may benefit future works.In addition,we maintain a continuously updated paper list for large-scale pre-trained multi-modal big models:https://***/wangxiao5791509/MultiModal_BigModels_Survey.

关键词： Multi-modal(MM) pre-trained model(PTM) information fusion representation learning deep learning

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

神经机器翻译综述

计算机工程与应用 2024年第4期60卷 57-74页

作者：章钧津田永红宋哲煜郝宇峰内蒙古工业大学数据科学与应用学院呼和浩特010080

机器翻译主要研究如何将源语言翻译为目标语言,对于促进民族之间的交流具有重要意义。目前神经机器翻译凭借翻译速度和译文质量成为主流的机器翻译方法。为更好地进行脉络梳理,首先对机器翻译的历史和方法进行研究,并对基于规则的机器... 详细信息

机器翻译主要研究如何将源语言翻译为目标语言,对于促进民族之间的交流具有重要意义。目前神经机器翻译凭借翻译速度和译文质量成为主流的机器翻译方法。为更好地进行脉络梳理,首先对机器翻译的历史和方法进行研究,并对基于规则的机器翻译、基于统计的机器翻译和基于深度学习的机器翻译三种方法进行对比总结;然后引出神经机器翻译,并对其常见的类型进行讲解;接着选取多模态机器翻译、非自回归机器翻译、篇章级机器翻译、多语言机器翻译、数据增强技术和预训练模型六个主要的神经机器翻译研究领域进行重点介绍;最后从低资源语言、上下文相关翻译、未登录词和大模型四个方面对神经机器翻译的未来进行了展望。通过系统性的介绍以更好地理解神经机器翻译的发展现状。

关键词：机器翻译神经机器翻译篇章级机器翻译数据增强预处理技术

Toward the Next Generation of Retinal Neuroprosthesis: Visual Computation with Spikes

在线全文

学校读者我要写书评

暂无评论

Engineering 2020年第4期6卷 449-461页

作者： Zhaofei Yu Jian K.Liu Shanshan Jia Yichen Zhang Yajing Zheng yonghong tian Tiejun Huang National Engineering Laboratory for Video Technology School of Electronics Engineering and Computer SciencePeking UniversityBeijing 100871China Peng Cheng Laboratory Shenzhen 518055China Center for Systems Neuroscience Department of NeurosciencePsychology and BehaviourUniversity of LeicesterLeicester LE17RHUK

A neuroprosthesis is a type of precision medical device that is intended to manipulate the neuronal signals of the brain in a closed-loop fashion,while simultaneously receiving stimuli from the environment and controlling some part of a human brain or body.Incoming visual information can be processed by the brain in millisecond intervals.The retina computes visual scenes and sends its output to the cortex in the form of neuronal spikes for further computation.Thus,the neuronal signal of interest for a retinal neuroprosthesis is the neuronal spike.Closed-loop computation in a neuroprosthesis includes two stages:encoding a stimulus as a neuronal signal,and decoding it back into a stimulus.In this paper,we review some of the recent progress that has been achieved in visual computation models that use spikes to analyze natural scenes that include static images and dynamic videos.We hypothesize that in order to obtain a better understanding of the computational principles in the retina,a hypercircuit view of the retina is necessary,in which the different functional network motifs that have been revealed in the cortex neuronal network are taken into consideration when interacting with the retina.The different building blocks of the retina,which include a diversity of cell types and synaptic connections-both chemical synapses and electrical synapses(gap junctions)-make the retina an ideal neuronal network for adapting the computational techniques that have been developed in artificial intelligence to model the encoding and decoding of visual scenes.An overall systems approach to visual computation with neuronal spikes is necessary in order to advance the next generation of retinal neuroprosthesis as an artificial visual system.

关键词： Visual coding Retina Neuroprosthesis Brain-machine interface Artificial intelligence Deep learning Spiking neural network Probabilistic graphical model

在线全文

学校读者我要写书评

暂无评论

基于知识蒸馏的神经机器翻译综述

计算机科学与探索 2024年第7期18卷 1725-1747页

作者：马畅田永红郑晓莉孙康康内蒙古工业大学数据科学与应用学院呼和浩特010000

机器翻译(MT)是利用计算机将一种语言转换为与其同语义的另一种语言的过程。随着神经网络的提出,神经机器翻译(NMT)作为一种强大的机器翻译技术,在自动翻译领域和人工智能方向上取得了显著成功。由于传统神经翻译模型存在参数、结构冗... 详细信息

机器翻译(MT)是利用计算机将一种语言转换为与其同语义的另一种语言的过程。随着神经网络的提出,神经机器翻译(NMT)作为一种强大的机器翻译技术,在自动翻译领域和人工智能方向上取得了显著成功。由于传统神经翻译模型存在参数、结构冗余的问题,提出了使用知识蒸馏(KD)技术手段对神经机器翻译进行模型压缩和加速推理,该方法在机器学习和自然语言处理领域引起了广泛的关注。主要从评价指标、技术创新等角度对各种引入知识蒸馏的翻译模型进行了系统的考察和比较。首先简要回顾了机器翻译的发展历程、主流框架和评价指标;接着详细介绍了知识蒸馏技术;然后分别从多语言模型、多模态翻译、低资源语言以及自回归和非自回归四个角度详述了基于知识蒸馏的神经机器翻译发展方向,并简要介绍其他领域的研究现状;最后针对现有的大语言模型、零资源语言及多模态机器翻译所存在的问题进行分析,展望神经机器翻译发展趋势。

关键词：机器翻译神经机器翻译知识蒸馏模型压缩

基于普通器件实现快1000倍的相机与机器视觉

在线全文

学校读者我要写书评

暂无评论

Engineering 2023年第6期25卷 110-119,M0005页

作者： Tiejun Huang Yajing Zheng Zhaofei Yu Rui Chen Yuan Li Ruiqin Xiong Lei Ma Junwei Zhao Siwei Dong Lin Zhu Jianing Li Shanshan Jia Yihua Fu Boxin Shi Si Wu yonghong tian School of Computer Science National Engineering Research Center of Visual TechnologyPeking UniversityBeijing 100871China

在数码相机中,我们发现了一个重大缺陷,即从胶片相机继承的图像和视频模型阻碍了相机捕捉快速变化的光子世界。我们提出了一种新的视觉形式,称为视象(vform),这是一个比特序列阵列,其中每个比特表示光子的累积是否达到了一个阈值,从而... 详细信息

在数码相机中,我们发现了一个重大缺陷,即从胶片相机继承的图像和视频模型阻碍了相机捕捉快速变化的光子世界。我们提出了一种新的视觉形式,称为视象(vform),这是一个比特序列阵列,其中每个比特表示光子的累积是否达到了一个阈值,从而可以记录和重建任何时刻场景的光强。仅使用消费级CMOS传感器和集成电路,开发了一种比传统相机快1000倍的脉冲相机。将视象看作生物视觉中的脉冲序列,进一步开发了基于脉冲神经网络的机器视觉系统,它可以将机器的速度和生物视觉的机理结合起来,从而实现了比人类视觉快1000倍的高速目标检测和跟踪,并通过辅助裁判和目标瞄准系统证明了脉冲相机和超级视觉系统的效用。视象模型和芯片有望从根本上改变图像和视频的概念以及摄影、电影和视觉媒体等相关行业,并开启一个全新的基于脉冲神经网络的速度自由的机器视觉时代。

关键词：脉冲神经网络机器视觉生物视觉视觉系统 CMOS传感器视觉媒体胶片相机脉冲序列

Introduction to AVS2 Scene Video Coding Techniques

在线全文

学校读者我要写书评

暂无评论

ZTE Communications 2016年第1期14卷 50-53页

作者： Jiaying Yan Siwei Dong yonghong tian Tiejun Huang National Engineering Laboratory for Video Technology School of EE & CS Peking University School of Electronic and Computer Engineering Shenzhen Graduate School Peking University Cooperative Medianet Innovation Center

The second generation Audio Video Coding Standard (AVS2) is the most recent video coding standard. By introducing several new coding techniques, AVS2 can provide more efficient compression for scene videos such as surveillance videos, conference videos, etc. Due to the limited scenes, scene videos have great redundancy especially in background region. The new scene video coding techniques applied in AVS2 mainly focus on reducing redundancy in order to achieve higher compression. This paper introduces several important AVS2 scene video coding techniques. Experimental results show that with scene video coding tools, AVS2 can save nearly 40%BD?rate (Bj?ntegaard?Delta bit?rate) on scene videos.

关键词： AVS2 scene videos coding background prediction

在线全文

学校读者我要写书评

暂无评论

基于参数共享的篇章级蒙汉神经机器翻译

中央民族大学学报（自然科学版） 2024年第2期33卷 48-53页

作者：张根茂田永红郝佳张佳颖河南工学院智能工程学院河南新乡453000 内蒙古工业大学数据科学与应用学院内蒙古呼和浩特010080

针对传统蒙汉神经机器翻译缺少对篇章上下文的有效利用问题,构建了基于Transformer模型的篇章级蒙汉神经机器翻译模型,编码端使用相对注意力机制对多个句子检索全局上下文信息,解码端使用基于缓存的方法记录已翻译句子的相关信息,在预... 详细信息

针对传统蒙汉神经机器翻译缺少对篇章上下文的有效利用问题,构建了基于Transformer模型的篇章级蒙汉神经机器翻译模型,编码端使用相对注意力机制对多个句子检索全局上下文信息,解码端使用基于缓存的方法记录已翻译句子的相关信息,在预测当前句子的过程中,使用缓存的句子信息作为篇章上下文信息,同时利用分组策略共享层与层之间的参数,减少模型的参数量,在有限的内存中尽可能多地提高语料的利用率。实验结果表明,融合参数共享策略的篇章级模型比句子级Transformer模型在BLEU4上高8.7,比不加入参数共享的篇章级机器翻译模型在BLEU4上高2.49。

关键词：蒙汉神经机器翻译参数共享篇章上下文

足三里及内关埋针治疗对腹腔镜下全子宫切除术后患者胃肠功能的影响

在线全文

学校读者我要写书评

暂无评论

辽宁中医杂志 2024年第3期51卷 173-176页

作者：陈嘉瑜田永宏邹蔼莹邹柳苑肖依珠陈明月黄琪梅州市人民医院广东梅州514031

目的探讨揿针穴位埋置对腹腔镜下全子宫切除术后患者胃肠功能的影响。方法选取2020年10月—2022年10月该院行腹腔镜下全子宫切除手术的100例患者为研究对象,采用随机数字表法分为试验组及对照组,每组50例。试验组患者在双侧内关及足三... 详细信息

目的探讨揿针穴位埋置对腹腔镜下全子宫切除术后患者胃肠功能的影响。方法选取2020年10月—2022年10月该院行腹腔镜下全子宫切除手术的100例患者为研究对象,采用随机数字表法分为试验组及对照组,每组50例。试验组患者在双侧内关及足三里两个穴位共4个部位埋针,对照组患者进行常规术后护理。观察两组胃肠道功能恢复情况(术后首次排气及排便时间、肠鸣音状况)和不良反应发生情况。结果排除了4例数据记录不全的患者后,最终纳入研究的试验组及对照组患者分别为49例及47例。与对照组比较,试验组胃肠道功能恢复更快,在术后首次排气时间(11.7 h vs 24.2 h,P<0.001),排便时间(48.3 h vs 72.4 h,P<0.001)及肠鸣音恢复时间(6.5 h vs 48.0 h,P<0.001)等各项观察指标上具有显著改善。另一方面,试验组患者术后胃肠道相关并发症的发生率也明显低于对照组。除外术后48 h恶心呕吐发生率的比较差异无统计学意义,在术后6 h、12 h、24 h恶心呕吐症状发生率及术后6 h、12 h、24 h、48 h腹胀症状发生率的对比中,两组数据均具有统计学意义(P<0.05)。结论足三里及内关穴揿针埋置能缩短腹腔镜下全子宫切除术后患者首次排气、排便及肠鸣音恢复时间,同时还能够有效降低患者术后出现恶心、呕吐及腹胀等胃肠道不良反应的发生率。

关键词：穴位埋针腹腔镜手术全子宫切除术胃肠功能

在线全文

学校读者我要写书评

暂无评论

仿视网膜传感器视觉重建算法研究综述

中国科学：信息科学 2023年第3期53卷 417-436页

作者：朱林田永鸿北京大学计算机学院北京100871 鹏城实验室深圳518000

视网膜启发的传感器(又称仿视网膜传感器)是近年来新兴的视觉传感器,其通过对场景光强信息进行连续采样,输出高时间分辨率的异步脉冲信号.本文将围绕基于仿视网膜传感器的采样原理进行总结,包括空间对比度传感器、时间对比度传感器、时... 详细信息

视网膜启发的传感器(又称仿视网膜传感器)是近年来新兴的视觉传感器,其通过对场景光强信息进行连续采样,输出高时间分辨率的异步脉冲信号.本文将围绕基于仿视网膜传感器的采样原理进行总结,包括空间对比度传感器、时间对比度传感器、时域积分传感器,以及其他具有附加采样电路的仿视网膜传感器.相对于传统相机,仿视网膜传感器具有高动态范围、高时域分辨率的特征.但是,以1和0(或-1)形式存储的脉冲信号难以与传统视觉信号兼容.如果把仿视网膜采样看作场景光强的紧凑编码过程,那么视觉信息重建即为视觉信息的解码过程.因此,视觉信息重建可以成为一个连接仿视网膜传感器与传统视觉的桥梁.近年来,出现了一些利用异步脉冲信号进行图像重构的算法,通过对脉冲信号进行一系列处理,可以重构出高时域分辨率的图片.本文综述了仿视网膜传感器的采样原理及分类,总结了目前基于事件相机和脉冲相机的视觉信息重建方法.同时,探讨和展望了仿视网膜采样和视觉信息重建的机遇和挑战,以及可能的发展方向.

关键词：仿视网膜传感器仿视网膜采样机制神经形态相机图像重构光流估计深度估计