检索结果-南通市图书馆

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

基于知识蒸馏的神经机器翻译综述

计算机科学与探索 2024年第7期18卷 1725-1747页

作者：马畅田永红郑晓莉孙康康内蒙古工业大学数据科学与应用学院呼和浩特010000

机器翻译(MT)是利用计算机将一种语言转换为与其同语义的另一种语言的过程。随着神经网络的提出,神经机器翻译(NMT)作为一种强大的机器翻译技术,在自动翻译领域和人工智能方向上取得了显著成功。由于传统神经翻译模型存在参数、结构冗... 详细信息

机器翻译(MT)是利用计算机将一种语言转换为与其同语义的另一种语言的过程。随着神经网络的提出,神经机器翻译(NMT)作为一种强大的机器翻译技术,在自动翻译领域和人工智能方向上取得了显著成功。由于传统神经翻译模型存在参数、结构冗余的问题,提出了使用知识蒸馏(KD)技术手段对神经机器翻译进行模型压缩和加速推理,该方法在机器学习和自然语言处理领域引起了广泛的关注。主要从评价指标、技术创新等角度对各种引入知识蒸馏的翻译模型进行了系统的考察和比较。首先简要回顾了机器翻译的发展历程、主流框架和评价指标;接着详细介绍了知识蒸馏技术;然后分别从多语言模型、多模态翻译、低资源语言以及自回归和非自回归四个角度详述了基于知识蒸馏的神经机器翻译发展方向,并简要介绍其他领域的研究现状;最后针对现有的大语言模型、零资源语言及多模态机器翻译所存在的问题进行分析,展望神经机器翻译发展趋势。

关键词：机器翻译神经机器翻译知识蒸馏模型压缩

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于参数共享的篇章级蒙汉神经机器翻译

中央民族大学学报（自然科学版） 2024年第2期33卷 48-53页

作者：张根茂田永红郝佳张佳颖河南工学院智能工程学院河南新乡453000 内蒙古工业大学数据科学与应用学院内蒙古呼和浩特010080

针对传统蒙汉神经机器翻译缺少对篇章上下文的有效利用问题,构建了基于Transformer模型的篇章级蒙汉神经机器翻译模型,编码端使用相对注意力机制对多个句子检索全局上下文信息,解码端使用基于缓存的方法记录已翻译句子的相关信息,在预... 详细信息

针对传统蒙汉神经机器翻译缺少对篇章上下文的有效利用问题,构建了基于Transformer模型的篇章级蒙汉神经机器翻译模型,编码端使用相对注意力机制对多个句子检索全局上下文信息,解码端使用基于缓存的方法记录已翻译句子的相关信息,在预测当前句子的过程中,使用缓存的句子信息作为篇章上下文信息,同时利用分组策略共享层与层之间的参数,减少模型的参数量,在有限的内存中尽可能多地提高语料的利用率。实验结果表明,融合参数共享策略的篇章级模型比句子级Transformer模型在BLEU4上高8.7,比不加入参数共享的篇章级机器翻译模型在BLEU4上高2.49。

关键词：蒙汉神经机器翻译参数共享篇章上下文

在线全文

学校读者我要写书评

暂无评论

神经机器翻译综述

计算机工程与应用 2024年第4期60卷 57-74页

作者：章钧津田永红宋哲煜郝宇峰内蒙古工业大学数据科学与应用学院呼和浩特010080

机器翻译主要研究如何将源语言翻译为目标语言,对于促进民族之间的交流具有重要意义。目前神经机器翻译凭借翻译速度和译文质量成为主流的机器翻译方法。为更好地进行脉络梳理,首先对机器翻译的历史和方法进行研究,并对基于规则的机器... 详细信息

机器翻译主要研究如何将源语言翻译为目标语言,对于促进民族之间的交流具有重要意义。目前神经机器翻译凭借翻译速度和译文质量成为主流的机器翻译方法。为更好地进行脉络梳理,首先对机器翻译的历史和方法进行研究,并对基于规则的机器翻译、基于统计的机器翻译和基于深度学习的机器翻译三种方法进行对比总结;然后引出神经机器翻译,并对其常见的类型进行讲解;接着选取多模态机器翻译、非自回归机器翻译、篇章级机器翻译、多语言机器翻译、数据增强技术和预训练模型六个主要的神经机器翻译研究领域进行重点介绍;最后从低资源语言、上下文相关翻译、未登录词和大模型四个方面对神经机器翻译的未来进行了展望。通过系统性的介绍以更好地理解神经机器翻译的发展现状。

关键词：机器翻译神经机器翻译篇章级机器翻译数据增强预处理技术

Large-scale Multi-modal Pre-trained Models: A Comprehensive Survey

在线全文

学校读者我要写书评

暂无评论

Machine Intelligence Research 2023年第4期20卷 447-482页

作者： Xiao Wang Guangyao Chen Guangwu Qian Pengcheng Gao Xiao-Yong Wei Yaowei Wang yonghong tian Wen Gao Peng Cheng Laboratory Shenzhen518055China School of Computer Science and Technology Anhui UniversityHefei230601China School of Computer Science Peking UniversityBeijing100871China College of Computer Science Sichuan UniversityChengdu610065China

With the urgent demand for generalized deep models,many pre-trained big models are proposed,such as bidirectional encoder representations(BERT),vision transformer(ViT),generative pre-trained transformers(GPT),*** by the success of these models in single domains(like computer vision and natural language processing),the multi-modal pre-trained big models have also drawn more and more attention in recent *** this work,we give a comprehensive survey of these models and hope this paper could provide new insights and helps fresh researchers to track the most cutting-edge ***,we firstly introduce the background of multi-modal pre-training by reviewing the conventional deep learning,pre-training works in natural language process,computer vision,and ***,we introduce the task definition,key challenges,and advantages of multi-modal pre-training models(MM-PTMs),and discuss the MM-PTMs with a focus on data,objectives,network architectures,and knowledge enhanced *** that,we introduce the downstream tasks used for the validation of large-scale MM-PTMs,including generative,classification,and regression *** also give visualization and analysis of the model parameters and results on representative downstream ***,we point out possible research directions for this topic that may benefit future *** addition,we maintain a continuously updated paper list for large-scale pre-trained multi-modal big models:https://***/wangxiao5791509/MultiModal_BigModels_Survey.

关键词： Multi-modal(MM) pre-trained model(PTM) information fusion representation learning deep learning

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

仿视网膜传感器视觉重建算法研究综述

中国科学：信息科学 2023年第3期53卷 417-436页

作者：朱林田永鸿北京大学计算机学院北京100871 鹏城实验室深圳518000

视网膜启发的传感器(又称仿视网膜传感器)是近年来新兴的视觉传感器,其通过对场景光强信息进行连续采样,输出高时间分辨率的异步脉冲信号.本文将围绕基于仿视网膜传感器的采样原理进行总结,包括空间对比度传感器、时间对比度传感器、时... 详细信息

视网膜启发的传感器(又称仿视网膜传感器)是近年来新兴的视觉传感器,其通过对场景光强信息进行连续采样,输出高时间分辨率的异步脉冲信号.本文将围绕基于仿视网膜传感器的采样原理进行总结,包括空间对比度传感器、时间对比度传感器、时域积分传感器,以及其他具有附加采样电路的仿视网膜传感器.相对于传统相机,仿视网膜传感器具有高动态范围、高时域分辨率的特征.但是,以1和0(或-1)形式存储的脉冲信号难以与传统视觉信号兼容.如果把仿视网膜采样看作场景光强的紧凑编码过程,那么视觉信息重建即为视觉信息的解码过程.因此,视觉信息重建可以成为一个连接仿视网膜传感器与传统视觉的桥梁.近年来,出现了一些利用异步脉冲信号进行图像重构的算法,通过对脉冲信号进行一系列处理,可以重构出高时域分辨率的图片.本文综述了仿视网膜传感器的采样原理及分类,总结了目前基于事件相机和脉冲相机的视觉信息重建方法.同时,探讨和展望了仿视网膜采样和视觉信息重建的机遇和挑战,以及可能的发展方向.

关键词：仿视网膜传感器仿视网膜采样机制神经形态相机图像重构光流估计深度估计

Toward the Next Generation of Retinal Neuroprosthesis: Visual Computation with Spikes

在线全文

学校读者我要写书评

暂无评论

Engineering 2020年第4期6卷 449-461页

作者： Zhaofei Yu Jian K.Liu Shanshan Jia Yichen Zhang Yajing Zheng yonghong tian Tiejun Huang National Engineering Laboratory for Video Technology School of Electronics Engineering and Computer SciencePeking UniversityBeijing 100871China Peng Cheng Laboratory Shenzhen 518055China Center for Systems Neuroscience Department of NeurosciencePsychology and BehaviourUniversity of LeicesterLeicester LE17RHUK

A neuroprosthesis is a type of precision medical device that is intended to manipulate the neuronal signals of the brain in a closed-loop fashion,while simultaneously receiving stimuli from the environment and controlling some part of a human brain or *** visual information can be processed by the brain in millisecond *** retina computes visual scenes and sends its output to the cortex in the form of neuronal spikes for further ***,the neuronal signal of interest for a retinal neuroprosthesis is the neuronal ***-loop computation in a neuroprosthesis includes two stages:encoding a stimulus as a neuronal signal,and decoding it back into a *** this paper,we review some of the recent progress that has been achieved in visual computation models that use spikes to analyze natural scenes that include static images and dynamic *** hypothesize that in order to obtain a better understanding of the computational principles in the retina,a hypercircuit view of the retina is necessary,in which the different functional network motifs that have been revealed in the cortex neuronal network are taken into consideration when interacting with the *** different building blocks of the retina,which include a diversity of cell types and synaptic connections-both chemical synapses and electrical synapses(gap junctions)-make the retina an ideal neuronal network for adapting the computational techniques that have been developed in artificial intelligence to model the encoding and decoding of visual *** overall systems approach to visual computation with neuronal spikes is necessary in order to advance the next generation of retinal neuroprosthesis as an artificial visual system.

关键词： Visual coding Retina Neuroprosthesis Brain-machine interface Artificial intelligence Deep learning Spiking neural network Probabilistic graphical model

在线全文

学校读者我要写书评

暂无评论

紧致化神经网络的鲁棒性分析

中国科学：技术科学 2022年第5期52卷 689-703页

作者：陈光耀彭佩玺田永鸿北京大学计算机科学技术系北京100871 鹏城实验室深圳518055

深度神经网络(deep neural network,DNN)目前已经在很多视觉识别任务中达到了超越人类性能的表现.然而,将深度神经网络部署到真实场景的终端设备面临着两个挑战:首先,目前的深度神经网络模型非常耗费计算资源和内存,很难直接应用在资源... 详细信息

深度神经网络(deep neural network,DNN)目前已经在很多视觉识别任务中达到了超越人类性能的表现.然而,将深度神经网络部署到真实场景的终端设备面临着两个挑战:首先,目前的深度神经网络模型非常耗费计算资源和内存,很难直接应用在资源受限的终端设备上;其次,真实场景的数据往往受到各种各样噪声的影响,因此部署在真实场景的模型应该拥有良好的鲁棒性(robustness).近年来出现了很多对深度神经网络进行压缩和加速的方法以适应真实场景的资源受限终端,而对这些压缩模型的鲁棒性分析也得到了越来越多的关注.本文首次对神经网络剪枝、量化及知识蒸馏等常用的压缩算法进行对抗鲁棒性及噪声鲁棒性分析,总结了不同压缩算法对神经网络鲁棒性的影响.并对目前同时解决神经网络鲁棒性及模型大小问题的一些方案进行了整理与分析,展望了该领域未来研究的技术挑战与可能的发展方向.

关键词：神经网络量化与剪枝知识蒸馏鲁棒性分析

足三里及内关埋针治疗对腹腔镜下全子宫切除术后患者胃肠功能的影响

在线全文

学校读者我要写书评

暂无评论

辽宁中医杂志 2024年第3期51卷 173-176页

作者：陈嘉瑜田永宏邹蔼莹邹柳苑肖依珠陈明月黄琪梅州市人民医院广东梅州514031

目的探讨揿针穴位埋置对腹腔镜下全子宫切除术后患者胃肠功能的影响。方法选取2020年10月—2022年10月该院行腹腔镜下全子宫切除手术的100例患者为研究对象,采用随机数字表法分为试验组及对照组,每组50例。试验组患者在双侧内关及足三... 详细信息

目的探讨揿针穴位埋置对腹腔镜下全子宫切除术后患者胃肠功能的影响。方法选取2020年10月—2022年10月该院行腹腔镜下全子宫切除手术的100例患者为研究对象,采用随机数字表法分为试验组及对照组,每组50例。试验组患者在双侧内关及足三里两个穴位共4个部位埋针,对照组患者进行常规术后护理。观察两组胃肠道功能恢复情况(术后首次排气及排便时间、肠鸣音状况)和不良反应发生情况。结果排除了4例数据记录不全的患者后,最终纳入研究的试验组及对照组患者分别为49例及47例。与对照组比较,试验组胃肠道功能恢复更快,在术后首次排气时间(11.7 h vs 24.2 h,P<0.001),排便时间(48.3 h vs 72.4 h,P<0.001)及肠鸣音恢复时间(6.5 h vs 48.0 h,P<0.001)等各项观察指标上具有显著改善。另一方面,试验组患者术后胃肠道相关并发症的发生率也明显低于对照组。除外术后48 h恶心呕吐发生率的比较差异无统计学意义,在术后6 h、12 h、24 h恶心呕吐症状发生率及术后6 h、12 h、24 h、48 h腹胀症状发生率的对比中,两组数据均具有统计学意义(P<0.05)。结论足三里及内关穴揿针埋置能缩短腹腔镜下全子宫切除术后患者首次排气、排便及肠鸣音恢复时间,同时还能够有效降低患者术后出现恶心、呕吐及腹胀等胃肠道不良反应的发生率。

关键词：穴位埋针腹腔镜手术全子宫切除术胃肠功能

全氟/多氟化合物的产前暴露与新生儿出生结局的相关分析

在线全文

学校读者我要写书评

暂无评论

中华预防医学杂志 2023年第3期57卷 362-370页

作者：徐晨烨李维彤田永红东华大学环境科学与工程学院上海201620 浙江大学医学院附属妇产科医院杭州310006

目的研究全氟/多氟化合物(PFASs)的产前暴露与新生儿出生结局的相关性。方法基于浙江杭州2020—2021年出生的506对母婴队列样本,应用固相萃取-超高效液相色谱串联质谱法检测产前母血血清中7种PFASs的暴露水平。运用多元线性回归模型分析... 详细信息

目的研究全氟/多氟化合物(PFASs)的产前暴露与新生儿出生结局的相关性。方法基于浙江杭州2020—2021年出生的506对母婴队列样本,应用固相萃取-超高效液相色谱串联质谱法检测产前母血血清中7种PFASs的暴露水平。运用多元线性回归模型分析PFASs的产前暴露对出生体重、身长及阿氏评分(Apgar)的影响。结果孕妇年龄、产前体重指数以及妊娠周期分别为(31.3±4.3)岁、(26.7±3.2)kg/m2和(265.0±28.3)d。出生体重、身长、Apgar-1和Apgar-5评分分别为(3.1±0.8)kg、(49.3±2.9)cm、(9.88±0.47)分和(9.99±0.13)分。PFASs广泛暴露于母血血清中,其中全氟辛酸(PFOA)、全氟辛基磺酸(PFOS)和6∶2氯代聚氟烷基醚磺酸(Cl-PFESA)的浓度最高,分别为(18.453±19.557)ng/ml、(6.756±9.379)ng/ml和(5.057±8.555)ng/ml。孕妇年龄、胎次、生产方式与PFASs暴露水平相关(P<0.05)。亚组分析显示,PFOS对低出生体重(LBW)组新生儿体重(β=-0.958)、身长(β=-0.073)及Apgar-5(β=-0.288)有抑制作用。6∶2 Cl-PFESA和8∶2 Cl-PFESA对LBW组新生儿体重(β=-0.926;β=-0.552)、身长(β=-0.074;β=-0.045)有抑制作用。此外4∶2氟调聚物磺酸(FTS)暴露与正常体重组新生儿体重增加(β=0.111)、Apgar-5评分降低(β=-0.030)有关。结论PFASs的产前暴露与新生儿出生体重、身长和Apgar-5评分之间存在关联,需持续关注PFASs通过母胎传递对胎儿生长发育的影响。

关键词：孕妇全氟/多氟化合物产前暴露出生结局横断面研究