检索结果-南通市图书馆

一种基于transformer编码器与LSTM的飞机轨迹预测方法

在线全文

学校读者我要写书评

暂无评论

航天返回与遥感 2024年第2期45卷 163-176页

作者：李明阳鲁之君曹东晶曹世翔北京空间机电研究所北京100094

为了解决飞机目标机动数据集缺失的问题,文章利用运动学建模生成了丰富的轨迹数据集,为网络训练提供了必要的数据支持。针对现阶段轨迹预测运动学模型建立困难及时序预测方法难以提取时空特征的问题,提出了一种结合transformer编码器和... 详细信息

为了解决飞机目标机动数据集缺失的问题,文章利用运动学建模生成了丰富的轨迹数据集,为网络训练提供了必要的数据支持。针对现阶段轨迹预测运动学模型建立困难及时序预测方法难以提取时空特征的问题,提出了一种结合transformer编码器和长短期记忆网络(Long Short Term Memory,LSTM)的飞机目标轨迹预测方法,即transformer-Encoder-LSTM模型。新模型可同时提供LSTM和transformer编码器模块的补充历史信息和基于注意力的信息表示,提高了模型能力。通过与一些经典神经网络模型进行对比分析,发现在数据集上,新方法的平均位移误差减小到0.22,显著优于CNN-LSTMAttention模型的0.35。相比其他网络,该算法能够提取复杂轨迹中的隐藏特征,在面对飞机连续转弯、大机动转弯的复杂轨迹时,能够保证模型的鲁棒性,提升了对于复杂轨迹预测的准确性。

关键词：轨迹预测 transformer编码器神经网络飞机目标 transformer-Encoder-LSTM模型

基于transformer编码器和Nanopore数据的DNA 5-甲基胞嘧啶位点预测

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基因组学与应用生物学 2023年第12期42卷 1344-1352页

作者：曾佳陈玲玲亚热带农业生物资源保护与利用国家重点实验室广西大学生命科学与技术学院南宁530004 广西大学计算机与电子信息学院南宁530004

DNA中的5-甲基胞嘧啶(5-methylcytosine,5mC)是通过DNA甲基转移酶在胞嘧啶环第5个碳原子上共价结合一个甲基产生的,广泛存在于不同组织中,在各种生物过程中发挥着重要作用。通过甲基化位点对相应的甲基化修饰进行研究是一种常用手段,因... 详细信息

DNA中的5-甲基胞嘧啶(5-methylcytosine,5mC)是通过DNA甲基转移酶在胞嘧啶环第5个碳原子上共价结合一个甲基产生的,广泛存在于不同组织中,在各种生物过程中发挥着重要作用。通过甲基化位点对相应的甲基化修饰进行研究是一种常用手段,因此,5mC位点的准确鉴定对深入理解其生物学功能至关重要。随着人工智能的飞速发展,深度学习已经成为了生物信息学的重要分析工具,越来越多的生物学问题通过深度学习得到解决。transformer是一种基于注意力机制的深度学习模型,本研究基于第三代基因测序技术Nanopore测序数据进行特征提取,通过transformer编码器对特征进行编码,最后输入到双向长短期记忆网络(long short-term memory, LSTM)中以预测5mC位点。使用拟南芥(Arabidopsis thaliana)和水稻(Oryza sativa)对模型进行训练和测试,结果表明,本模型能够有效提取5mC位点的潜在特征,从而提高5mC位点的预测能力。

关键词： 5-甲基胞嘧啶深度学习 Nanopore测序 transformer编码器双向长短期记忆网络

基于transformer编码器的中文命名实体识别

在线全文

学校读者我要写书评

暂无评论

吉林大学学报（工学版） 2021年第3期51卷 989-995页

作者：郭晓然罗平王维兰西北民族大学数学与计算机科学学院兰州730030 兰州交通大学电子与信息工程学院兰州730070 西北民族大学中国民族语言文字信息技术教育部重点实验室兰州730030

提出了一种基于transformer编码器和BiLSTM的字级别中文命名实体识别方法,将字向量与位置编码向量拼接成联合向量作为字表示层,避免了字向量信息的损失和位置信息的丢失;利用BiLSTM为联合向量融入方向性信息,引入transformer编码器进一... 详细信息

提出了一种基于transformer编码器和BiLSTM的字级别中文命名实体识别方法,将字向量与位置编码向量拼接成联合向量作为字表示层,避免了字向量信息的损失和位置信息的丢失;利用BiLSTM为联合向量融入方向性信息,引入transformer编码器进一步抽取字间关系特征。实验结果表明,该方法在MSRA数据集和唐卡数据集上的F1值分别达到了81.39%和86.99%,有效提升了中文命名实体识别的效果。

关键词：命名实体识别 transformer编码器 BiLSTM 位置编码

基于transformer编码器的中文命名实体识别模型

在线全文

学校读者我要写书评

暂无评论

计算机工程 2022年第7期48卷 66-72页

作者：司逸晨管有庆南京邮电大学物联网学院南京210003

命名实体识别是自然语言处理中的重要任务,且中文命名实体识别相比于英文命名实体识别任务更具难度。传统中文实体识别模型通常基于深度神经网络对文本中的所有字符打上标签,再根据标签序列识别命名实体,但此类基于字符的序列标注方式... 详细信息

命名实体识别是自然语言处理中的重要任务,且中文命名实体识别相比于英文命名实体识别任务更具难度。传统中文实体识别模型通常基于深度神经网络对文本中的所有字符打上标签,再根据标签序列识别命名实体,但此类基于字符的序列标注方式难以获取词语信息。提出一种基于transformer编码器的中文命名实体识别模型,在字嵌入过程中使用结合词典的字向量编码方法使字向量包含词语信息,同时针对transformer编码器在注意力运算时丢失字符相对位置信息的问题,改进transformer编码器的注意力运算并引入相对位置编码方法,最终通过条件随机场模型获取最优标签序列。实验结果表明,该模型在Resume和Weibo中文命名实体识别数据集上的F1值分别达到94.7%和58.2%,相比于基于双向长短期记忆网络和ID-CNN的命名实体识别模型均有所提升,具有更优的识别效果和更快的收敛速度。

关键词：自然语言处理中文命名实体识别 transformer编码器条件随机场相对位置编码

基于transformer编码器的智能电网虚假数据注入攻击检测

在线全文

学校读者我要写书评

暂无评论

计算机应用与软件 2022年第7期39卷 336-342页

作者：陈冰唐永旺河南工业大学漯河工学院电气电子工程系河南漯河462000 中国人民解放军战略支援部队信息工程大学信息系统工程学院河南郑州450002

针对当前基于循环神经网络的智能电网虚假数据注入攻击(False Data Injection Attacks, FDIA)检测方法无法同时利用量测样本中前后参数信息和样本间参数关联关系的问题,提出一种基于transformer编码器的FDIA检测框架。对连续时间样本数... 详细信息

针对当前基于循环神经网络的智能电网虚假数据注入攻击(False Data Injection Attacks, FDIA)检测方法无法同时利用量测样本中前后参数信息和样本间参数关联关系的问题,提出一种基于transformer编码器的FDIA检测框架。对连续时间样本数据进行归一化处理,结合相对位置信息得到连续时间样本向量。引入transformer编码器,通过多头自注意力机制计算长距离依赖关系,得到连续时间样本的特征表示。将该特征表示输入到全连接神经网络层和Softmax层,输出后一时刻样本受到注入攻击的概率。在IEEE 14-bus和IEEE 30-bus中的仿真实验结果表明该方法切实可行,相较于次优结果,准确率平均提高7.41%,正报率平均提高4.51%,误报率平均降低60.99%。

关键词： transformer编码器连续时间多头注意力智能电网虚假数据

基于transformer编码器的语义相似度算法研究

在线全文

学校读者我要写书评

暂无评论

计算机工程与应用 2021年第14期57卷 158-163页

作者：乔伟涛黄海燕王珊华东理工大学信息科学与工程学院上海200237

语义相似度计算旨在计算文本之间在语义层面的相似程度,是自然语言处理中一项重要的任务。针对现有的计算方法不能充分表示句子的语义特征的问题,提出基于transformer编码器的语义特征抽取的模型TEAM,利用transformer模型的上下文语义... 详细信息

语义相似度计算旨在计算文本之间在语义层面的相似程度,是自然语言处理中一项重要的任务。针对现有的计算方法不能充分表示句子的语义特征的问题,提出基于transformer编码器的语义特征抽取的模型TEAM,利用transformer模型的上下文语义编码能力充分提取句子内的语义信息,对句子进行深层语义编码。此外,通过引入交互注意力机制,在编码两个句子时利用交互注意力机制提取两个句子之间关联的相似特征,使模型更擅长捕捉句子内部重要的语义信息,提高了模型对语义的理解和泛化能力。实验结果表明,该模型在英文和中文的语义相似度计算任务上能够提高结果的准确性,较已有方法表现出更好的效果。

关键词：语义相似度 transformer编码器交互注意力机制语义表示

基于改进的transformer编码器的中文命名实体识别

在线全文

学校读者我要写书评

暂无评论

网络与信息安全学报 2021年第5期7卷 105-112页

作者：郑洪浩于洪涛李邵梅信息工程大学河南郑州450002

为了提高中文命名实体识别的效果,提出了基于XLNET-transformer_P-CRF模型的方法,该方法使用了transformer_P编码器,改进了传统transformer编码器不能获取相对位置信息的缺点。实验结果表明,XLNET-transformer_P-CRF模型在MSRA、OntoNotes4.0、Resume、微博数据集4类数据集上分别达到95.11%、80.54%、96.70%、71.46%的F1值,均高于中文命名实体识别的主流模型。

关键词：中文命名实体识别 transformer编码器相对位置信息

基于DRSN融合transformer编码器的轴承故障诊断方法研究

在线全文

学校读者我要写书评

暂无评论

自动化与仪表 2024年第5期39卷 103-108页

作者：陈松陈文华张文广华北电力大学控制与计算机工程学院北京102206

针对轴承故障在复杂工况环境中诊断准确率低和泛化性能弱的问题,提出了一种基于深度残差收缩网络(deep residual shrinkage network,DRSN)融合transformer编码器的轴承故障诊断方法。首先,采用DRSN通过软阈值模块自动去掉振动信号中的... 详细信息

针对轴承故障在复杂工况环境中诊断准确率低和泛化性能弱的问题,提出了一种基于深度残差收缩网络(deep residual shrinkage network,DRSN)融合transformer编码器的轴承故障诊断方法。首先,采用DRSN通过软阈值模块自动去掉振动信号中的噪声信息,并使用注意力机制增强提取到的特征;然后,采用transformer编码器来进一步解决振动信号中的长期依赖性问题;最后,利用Softmax函数实现多故障模式识别。在凯斯西储大学轴承数据集上通过不同噪声等级对提出的模型进行测试,实验结果表明,该方法实现了对轴承故障分类,强噪声环境下准确率更高,训练时间更快。

关键词：故障诊断轴承深度残差收缩网络 transformer编码器

基于transformer编码器的合成语声检测系统

在线全文

学校读者我要写书评

暂无评论

应用声学 2023年第1期42卷 26-33页

作者：万伊杨飞然杨军中国科学院声学研究所噪声与振动重点实验室北京100190 中国科学院大学北京100049

自动说话人认证系统是一种常用的目标说话人身份认证方案,但它在合成语声的攻击下表现出脆弱性,合成语声检测系统试图解决这一问题。该文提出了一种基于transformer编码器的合成语声检测方法,利用自注意力机制学习输入特征内部的长期依... 详细信息

自动说话人认证系统是一种常用的目标说话人身份认证方案,但它在合成语声的攻击下表现出脆弱性,合成语声检测系统试图解决这一问题。该文提出了一种基于transformer编码器的合成语声检测方法,利用自注意力机制学习输入特征内部的长期依赖关系。合成语声检测问题并不关注句子的抽象语义特征,用参数量较小的模型也能得到较好的检测性能。该文分别测试了4种常用合成语声检测特征在transformer编码器上的表现,在国际标准的ASVspoof2019挑战赛的逻辑攻击数据集上,基于线性频率倒谱系数特征和transformer编码器的系统等错误率与串联检测代价函数分别为3.13%和0.0708,且模型参数量仅为0.082 M,在较小参数量下得到了较好的检测性能。

关键词：自动说话人认证合成语声检测 transformer编码器