检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

高速简单循环单元网络

控制与决策 2022年第2期37卷 493-498页

作者：胡枫吴义熔董方敏邹耀斌孙水发三峡大学计算机与信息学院湖北宜昌443002 智慧医疗宜昌市重点实验室湖北宜昌443002

基于可以并行化计算的简单循环单元(simple recurrent unit,SRU)网络,引入高速公路网络(highwaynetworks)的连接思想,提出高速简单循环单元(H-SRU)网络:一方面利用非饱和激活函数可以有效缓解梯度消失的性质,将原有SRU结构里单元状态和... 详细信息

基于可以并行化计算的简单循环单元(simple recurrent unit,SRU)网络,引入高速公路网络(highwaynetworks)的连接思想,提出高速简单循环单元(H-SRU)网络:一方面利用非饱和激活函数可以有效缓解梯度消失的性质,将原有SRU结构里单元状态和隐状态的激活函数替换为非饱和激活函数;另一方面在SRU的单元状态表示中引入高速公路网络所采用的前馈链接思想,使网络对梯度变化更敏感;在此基础上,基于PTB(penn treebank dataset)和WikiText-2两个数据集构建语言模型,以验证所提方法的有效性.实验结果表明,所设计的高速简单循环单元网络H-SRU在保持SRU原有训练速度优势的同时,可较大地提高网络的性能.在WikiText-2数据集上所提方法的困惑度PPL值达到了26.1,这是目前已知最好效果,而且其效率也比已知的非SRU网络高.

关键词：深度学习循环神经网络简单循环单元高速公路网络激活函数梯度消失

基于简单循环单元的储能锂离子电池SOC和SOH联合估计方法

在线全文

学校读者我要写书评

暂无评论

电气工程学报 2023年第3期18卷 332-340页

作者：周航刘晓龙张梦迪孙金磊程泽天津大学建筑设计规划研究总院有限公司天津300073 天津大学电气自动化与信息工程学院天津300072

锂离子电池的荷电状态(State of charge,SOC)和健康状态(State of health,SOH)是电池储能系统在运维过程中所需要估算的重要参数。为了能够对电池状态进行可靠估计,采用深度学习方法中的简单循环单元(Simple recurrent unit,SRU)来实现... 详细信息

锂离子电池的荷电状态(State of charge,SOC)和健康状态(State of health,SOH)是电池储能系统在运维过程中所需要估算的重要参数。为了能够对电池状态进行可靠估计,采用深度学习方法中的简单循环单元(Simple recurrent unit,SRU)来实现对电池SOC和SOH的联合估计。首先,通过利用SRU在处理时序问题上的优势,建立了基于SRU的电池SOC估计模型;接着,给模型引入了数据单元的输入形式,并使用含有电池老化信息的样本数据来对模型进行训练,使得训练好的模型能够实现任意电池老化程度下的SOC估计;最后,通过对该模型输出的SOC估计值中所隐含的老化信息进行挖掘,实现对电池SOH的估计。试验结果表明,该联合估计方法可以实现电池SOC与SOH的准确估计,并且对不同种类的电池也有较好的适用能力。

关键词：锂离子电池荷电状态健康状态简单循环单元联合估计

基于卷积神经网络和简单循环单元集成模型的风电场内多风机风速预测

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

电工技术学报 2020年第13期35卷 2723-2735页

作者：王晨寇鹏西安交通大学电气工程学院西安710049

在传统风电场风速预测中,往往将风电场视作一个整体,进而给出较大空间尺度下的单一整体风速预测结果。但在实际风电场中,多台风机分布在不同的地理位置上,其各自的本地风速也存在明显差异。对此,该文提出一种通过学习历史风速和历史风... 详细信息

在传统风电场风速预测中,往往将风电场视作一个整体,进而给出较大空间尺度下的单一整体风速预测结果。但在实际风电场中,多台风机分布在不同的地理位置上,其各自的本地风速也存在明显差异。对此,该文提出一种通过学习历史风速和历史风向中空间相关性和时间相关性,从而实现不同地理位置上多风机各自本地风速的预测方法。该方法首先利用卷积神经网络(CNN)提取空间相关性信息,然后将蕴含空间信息的特征序列交由简单循环单元(SRU)处理,进而学习时间相关性信息。风速和三角函数化的风向构成类似于RGB图像结构的三维矩阵。CNN非常适合处理RGB图像类型的数据,故使用CNN提取多风机的风速和风向在同一个时刻下的空间信息。与其他循环神经网络相比,由于SRU可大幅减小计算代价,故使用SRU提取多风机的风速和风向随时间变化的动态信息。在实际风电场数据上的仿真测试表明:在多个不同的预测时域下,该方法与现有利用时空相关性的预测方法相比,不仅显著减小了计算代价,而且提高了预测的准确性。

关键词：多风机风速预测卷积神经网络简单循环单元改进循环神经网络时空相关性

基于图注意力网络和简单循环单元的化合物-蛋白质交互预测

在线全文

学校读者我要写书评

暂无评论

模式识别与人工智能 2021年第6期34卷 522-531页

作者：李淑红贾琳河南财经政法大学计算机与信息工程学院郑州450046

现有基于深度学习的化合物-蛋白质交互预测方法未考虑数据的内部协变量偏移及序列数据的长距离依赖.针对此问题,文中提出基于图注意力网络和简单循环单元的化合物-蛋白质交互预测方法.利用图注意力网络-门控循环单元学习化合物分子的图... 详细信息

现有基于深度学习的化合物-蛋白质交互预测方法未考虑数据的内部协变量偏移及序列数据的长距离依赖.针对此问题,文中提出基于图注意力网络和简单循环单元的化合物-蛋白质交互预测方法.利用图注意力网络-门控循环单元学习化合物分子的图级表示,利用多层简单循环单元学习氨基酸子序列的特征向量表示,结合多层前馈网络预测化合物-蛋白质的交互作用.实验表明,文中方法在2个公开数据集上的各项评估指标都有所提升,由此验证方法的有效性.

关键词：化合物-蛋白质相互作用图注意力网络简单循环单元门控循环单元注意力机制

基于多尺度残差式卷积神经网络与双向简单循环单元的光学乐谱识别方法

在线全文

学校读者我要写书评

暂无评论

激光与光电子学进展 2020年第8期57卷 59-68页

作者：吴琼李锵关欣天津大学微电子学院天津300072

光学乐谱识别在音乐信息检索和计算机辅助教学等领域有着重要价值,针对传统框架处理步骤复杂、精度较低,而基于深度学习的算法模型训练耗时久,且对难点音符识别误差较大的问题,提出了一种改进的卷积循环神经网络以提升识别精度。首先在... 详细信息

光学乐谱识别在音乐信息检索和计算机辅助教学等领域有着重要价值,针对传统框架处理步骤复杂、精度较低,而基于深度学习的算法模型训练耗时久,且对难点音符识别误差较大的问题,提出了一种改进的卷积循环神经网络以提升识别精度。首先在原始乐谱中增加不同的噪声,以扩充乐谱图像,提高训练模型的鲁棒性;随后利用多尺度残差式卷积神经网络对乐谱图像中的音符特征进行提取,提升后续识别精度;最后利用双向简单循环单元网络识别音符特征,加快训练收敛速度。实验结果表明,改进后网络模型的平均符号错误率下降至0.3234%,收敛速度加快,训练耗时约为传统卷积循环神经网络的1/3。

关键词：数字图像处理光学乐谱识别卷积神经网络多尺度特征融合简单循环单元

基于双向堆叠简单循环单元的滚动轴承寿命预测

在线全文

学校读者我要写书评

暂无评论

基于简单循环单元的深层神经网络机器翻译模型

机械强度 2021年第4期43卷 786-792页

作者：李博阳姚德臣刘恒畅杨建伟北京建筑大学机电与车辆工程学院北京100044 北京建筑大学城市轨道交通车辆服役性能保障北京市重点实验室北京100044

为解决传统滚动轴承寿命预测方法精度差,效率低的问题.提出一种基于双向堆叠简单循环单元(Bidirectional Stack Simple Recurrent Unit,Bi-SRU)的预测方法.从原始信号中提取多种时、频域特征构建多维数据集,增强信息表征,避免了单一特... 详细信息

为解决传统滚动轴承寿命预测方法精度差,效率低的问题.提出一种基于双向堆叠简单循环单元(Bidirectional Stack Simple Recurrent Unit,Bi-SRU)的预测方法.从原始信号中提取多种时、频域特征构建多维数据集,增强信息表征,避免了单一特征对轴承退化能力反映不足的缺点.依靠循环神经网络(Recurrent Neural Network,RNN)处理时序数据的能力,构建SRU模型,重构传统RNN串行运算结构,提升训练效率.并在单层SRU的基础上反向堆叠,使模型能够获取学习时间维度上的双向信息,提升预测准确性.实验结果表明,所提方法在预测精度和训练效率上均有提升.

关键词：滚动轴承简单循环单元反向堆叠双向信息寿命预测

来源：评论

学校读者我要写书评

暂无评论

中文信息学报 2018年第10期32卷 36-44页

作者：张文冯洋刘群中国科学院计算技术研究所智能信息处理重点实验室北京100190 中国科学院大学北京100049 都柏林城市大学ADAPT中心计算学院

基于注意力机制的神经网络机器翻译模型已经成为目前主流的翻译模型,在许多翻译方向上均超过了统计机器翻译模型,尤其是在训练语料规模比较大的情况下,优势更加明显。该模型使用编码器—解码器框架,将翻译任务建模成序列到序列的问题。... 详细信息

基于注意力机制的神经网络机器翻译模型已经成为目前主流的翻译模型,在许多翻译方向上均超过了统计机器翻译模型,尤其是在训练语料规模比较大的情况下,优势更加明显。该模型使用编码器—解码器框架,将翻译任务建模成序列到序列的问题。然而,在基于门控循环单元(gated recurrent unit,GRU)的编码器—解码器模型中,随着模型层数的增加,梯度消失的问题使模型难以收敛并且严重退化,进而使翻译性能下降。该文使用了一种简单循环单元(simple recurrent unit,SRU)代替GRU单元,通过堆叠网络层数加深编码器和解码器的结构,提高了神经网络机器翻译模型的性能。我们在德语—英语和维语—汉语翻译任务上进行了实验,实验结果表明,在神经网络机器翻译模型中使用SRU单元,可以有效地解决梯度消失带来的模型难以训练的问题;通过加深模型能够显著地提升系统的翻译性能,同时保证训练速度基本不变。此外,我们还与基于残差连接(residual connections)的神经网络机器翻译模型进行了实验对比,实验结果表明,我们的模型有显著性优势。

关键词：门控循环单元梯度消失残差连接简单循环单元

基于图注意力网络与简单循环单元的化合物—蛋白质交互预测

在线全文

学校读者我要写书评

暂无评论

基于图注意力网络与简单循环单元的化合物—蛋白质交互预测

作者：贾琳河南财经政法大学

学位级别：硕士

药物发现是发现新药治疗或治愈人类疾病的过程,而其中一项关键的任务是化合物-蛋白质交互的研究。由于化合物-蛋白质的交互不仅可以预测药物的靶向、探寻药物的药效,而且对于预测药物的副作用、毒性等方面也起着关键性作用。因此,如何... 详细信息

药物发现是发现新药治疗或治愈人类疾病的过程,而其中一项关键的任务是化合物-蛋白质交互的研究。由于化合物-蛋白质的交互不仅可以预测药物的靶向、探寻药物的药效,而且对于预测药物的副作用、毒性等方面也起着关键性作用。因此,如何通过识别化合物-蛋白质的交互来发现新药物已经成为研究人员关注的热点。若使用传统的方法对化合物-蛋白质的交互进行预测,则需要对大量的化合物-蛋白质对逐一进行实验,因此存在着实验周期长、成本代价昂贵、准确率低等缺点。近年来,随着机器学习的不断发展,基于机器学习的方法逐渐被用于学习药物和靶点结合的特点,利用机器学习来协助药物的设计,能够极大程度的提高设计成功的概率。深度学习是机器学习的子集,能够实现特征的自动提取且有着强大的表征能力。可以通过海量数据对特定任务进行建模,相比传统方法能够有效提高模型预测的准确率,缩短训练时间。因此,近些年基于深度学习的方法被广泛应用于药物发现。而现有的基于深度学习的化合物-蛋白质交互预测方法未考虑数据的内部协变量偏移和长距离依赖问题。针对此问题,本文基于已有模型进行了改进,主要研究工作:（1）文中提出一种将图神经网络和循环神经网络相结合的化合物-蛋白质交互预测模型。通过利用图注意力网络-门控循环单元来学习化合物分子的图级表示,并利用多层简单循环单元学习氨基酸子序列的特征向量表示,结合多层前馈神经网络来预测化合物-蛋白质的交互作用。（2）由于原始的输入数据经过图注意力卷积操作后其概率分布会发生偏移,为有效解决此问题,将实例标准化操作引入图注意力网络中,使得网络输出数据的分布更切合数据的真实分布,从而保证模型的非线性表达能力。（3）多数现有方法使用卷积网络或长短期记忆网络对氨基酸序列进行处理,可能存在着长距离依赖问题,本文通过利用简单循环单元的特殊结构对序列数据进行处理,可以有效避免梯度消失减缓长距离依赖的问题。（4）本文通过Pytorch框架搭建模型,并完成对模型的训练与预测。通过在2个公开的生物数据集上进行实验,与现有模型进行对比实验,验证了本文的可行性,并通过设计相关实验验证了模型中各模块的有效性。

关键词：化合物-蛋白质的交互深度学习图注意力网络简单循环单元

结合多尺度残差卷积神经网络和简单循环单元的光学乐谱识别方法研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

结合多尺度残差卷积神经网络和简单循环单元的光学乐谱识别方法研...

作者：吴琼天津大学

学位级别：硕士

光学乐谱识别作为乐谱内容符号化的关键技术,有助于音乐文件的存储与编辑,在音乐信息检索和计算机辅助教学等领域还有着重要应用价值。基于通用框架的光学乐谱识别算法存在处理步骤较复杂、精度较低等问题,而基于深度学习的算法虽有效... 详细信息

光学乐谱识别作为乐谱内容符号化的关键技术,有助于音乐文件的存储与编辑,在音乐信息检索和计算机辅助教学等领域还有着重要应用价值。基于通用框架的光学乐谱识别算法存在处理步骤较复杂、精度较低等问题,而基于深度学习的算法虽有效地简化了通用框架,但其识别精度有待进一步提升,对于难点音符的识别误差较大,模型训练耗时久。为此本文提出一种改进的卷积循环神经网络光学乐谱识别方法。本文中提出的光学乐谱识别算法主要通过四部分实现:首先,对数据集中部分谱例进行图像增强以扩充乐谱图像数据,提高训练模型的鲁棒性;随后,采用残差式卷积神经网络提取乐谱图像中的音符特征,解决模型退化问题;接着,利用多尺度特征融合,将不同层次的特征信息融合在同一特征图中,以增强模型的特征表示能力,提升后续识别精度;最后,采用双向简单循环单元与链式时序分类函数构成的网络识别音符,将大量计算并行化,从而加快训练的收敛速度,这也使得数据集中数据不再需要与标签严格对齐,也降低了对数据集的要求。通过四组实验对算法的有效性进行了验证,具体包括:数据增强前后模型的鲁棒性、残差式卷积神经网络的特征提取能力、多尺度融合效果以及简单循环单元对模型收敛速度的作用。实验结果表明,改进后网络模型的平均符号错误率下降至0.3234%,模型训练时间约为传统卷积循环神经网络的三分之一,在识别精度与训练耗时方面均有所优化。此外,还对比了文中所提算法、现有文献中提及算法和三种光学乐谱识别商用软件的性能。实验结果显示,文中所提算法在识别精准度以及训练耗时两项评价指标上均优于现有文献中的算法。与商用软件相比,文中所提方法的鲁棒性更强,且对于音符符梁、休止符等音符的识别效果更优。

关键词：数字图像处理光学乐谱识别卷积神经网络多尺度特征融合简单循环单元