检索结果-南通市图书馆

基于LSTM和多头注意力机制的企业违约预测模型

在线全文

学校读者我要写书评

暂无评论

管理工程学报 2024年第3期38卷 213-226页

作者：柏凤山迟国泰温武军大连理工大学经济管理学院辽宁大连116024

违约预测是指用企业过去时刻的数据和违约状态预测企业未来的违约概率。违约预测对股票投资、债券投资和银行贷款等具有极为重要的意义。本研究涉及两个科学问题:一是如何使用连续多年的企业数据预测企业违约概率;二是研究输入模型的每... 详细信息

违约预测是指用企业过去时刻的数据和违约状态预测企业未来的违约概率。违约预测对股票投资、债券投资和银行贷款等具有极为重要的意义。本研究涉及两个科学问题:一是如何使用连续多年的企业数据预测企业违约概率;二是研究输入模型的每个时间窗口对违约预测状态的影响程度。用LSTM网络建立违约预测模型,用连续多年的企业数据预测违约概率,改变了违约预测建模时只用一个时间窗口预测违约概率的现状,并首次将多头注意力机制应用于违约预测模型,探索每个时间窗口对违约预测值的影响程度,避免了现有模型只做预测不揭示时间窗口对违约预测影响程度的弊端。研究表明:一是在违约预测建模时考虑企业数据的时序性更合理且会提升模型预测精度;二是违约预测的最佳时间窗口个数可以是5到10之间的数,总体上时间窗口越多违约预测精度越高;三是本文搭建的违约预测模型框架有效减少了违约预测结果的第2类错误,降低了坏客户被预测为好客户的风险。

关键词：长短期记忆神经网络多头注意力机制违约预测

基于多头注意力机制的BM-Linear信用贷款评估模型

在线全文

学校读者我要写书评

暂无评论

系统管理学报 2023年第1期32卷 118-129页

作者：赵雪峰吴德林吴伟伟王世璇龙森哈尔滨工业大学(深圳)经济管理学院广东深圳518055 哈尔滨工业大学经济与管理学院哈尔滨150001

信贷评估模型可加快放贷效率、缩减放贷时间。利用Pytorch深度学习框架,组合Bag-of-Words及Bert中多头注意力机制得到BM-Linear评估模型,同时在引入多组信贷训练集的前提下,创造性地构建参数独立训练及参数共用训练的对比实验,探究BM-Li... 详细信息

信贷评估模型可加快放贷效率、缩减放贷时间。利用Pytorch深度学习框架,组合Bag-of-Words及Bert中多头注意力机制得到BM-Linear评估模型,同时在引入多组信贷训练集的前提下,创造性地构建参数独立训练及参数共用训练的对比实验,探究BM-Linear的优异性。研究表明:BM-Linear首先弱化与信贷训练集的对应关系,解决信贷模型受限于信贷场景问题,减少因反复训练模型所造成的放贷效率低下现象;其次,忽略缺失特征并将离散特征转为信贷文本,降低特征处理造成的信贷干扰,提高信贷评估效率;最后,克服因词袋与信贷词语对应关系所带来的词向量固化问题,实现动态词向量过程,进而提高评估准确率。所提出的BM-Linear模型,可为信贷机构高效评估快速放贷提供支持。

关键词：多头注意力机制 Bert Bag-of-Words 信用贷款深度学习

基于多头注意力机制字词联合的中文命名实体识别

在线全文

学校读者我要写书评

暂无评论

江苏大学学报（自然科学版） 2024年第1期45卷 77-84页

作者：王进王猛旗张昕跃孙开伟朴昌浩重庆邮电大学数据工程与可视计算重点实验室重庆400065

针对现有基于字词联合的中文命名实体识别方法会引入冗余词汇干扰、模型网络结构复杂、难以迁移的问题,提出一种基于多头注意力机制字词联合的中文命名实体识别算法.算法采用多头注意力机制融合词汇边界信息,并通过分类融合BIE词集降低... 详细信息

针对现有基于字词联合的中文命名实体识别方法会引入冗余词汇干扰、模型网络结构复杂、难以迁移的问题,提出一种基于多头注意力机制字词联合的中文命名实体识别算法.算法采用多头注意力机制融合词汇边界信息,并通过分类融合BIE词集降低冗余词汇干扰.建立了多头注意力字词联合模型,包含字词匹配、多头注意力、融合等模块.与现有中文命名实体识别方法相比,本算法避免了设计复杂的序列模型,方便与现有基于字的中文命名实体识别模型结合.采用召回率、精确率以及F 1值作为评价指标,通过消融试验验证模型各个部分的效果.结果表明,本算法在MSRA和Weibo数据集上F 1值分别提升0.28、0.69,在Resume数据集上精确率提升0.07.

关键词：中文命名实体识别词汇冗余词汇边界信息字词联合多头注意力机制 BIE词集

基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测

在线全文

学校读者我要写书评

暂无评论

高压电器 2023年

作者：黄悦华张子豪陈庆刘兴韬涂金童三峡大学电气与新能源学院

为了研究考虑高海拔多环境因素影响下输电线路可听噪声的预测问题，在海拔2 400 m高度点的500 kV同塔双回线路下，搭建了边相外20、30、35 m三处可听噪声观测站，同时利用气象站进行多环境因素指标的数据采集。文中提出了一种基于多头... 详细信息

为了研究考虑高海拔多环境因素影响下输电线路可听噪声的预测问题，在海拔2 400 m高度点的500 kV同塔双回线路下，搭建了边相外20、30、35 m三处可听噪声观测站，同时利用气象站进行多环境因素指标的数据采集。文中提出了一种基于多头注意力机制（multi-head attention，MHA）的卷积神经网络（convolutional neural networks，CNN）-双向长短期记忆网络（Bi-directional long short term memory，BiLSTM）模型进行可听噪声预测。首先，采用皮尔逊相关性分析对多种环境因素数据进行相关程度计算比较与剔除；然后，为充分挖掘可听噪声数据中的时序特征，使用CNN对多环境因素数据进行特征提取；再将提取的特征向量输入到BiLSTM中进行训练，并通过在BiLSTM端引入多头注意力机制，使模型学习权重更高的数据特征，从而提升模型预测精度；结果表明，该方法构建的组合模型可以提升考虑多因素特征可听噪声数据的预测精度，且具有较好的泛化性。

关键词：输电线路可听噪声多环境因素卷积神经网络双向长短期记忆网络多头注意力机制

融合坐标与多头注意力机制的交互语音情感识别

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机应用 2023年

作者：高鹏淇黄鹤鸣樊永红藏语智能信息处理及应用国家重点实验室青海师范大学计算机学院

语音情感识别是人机交互系统中一项重要且充满挑战性的任务。针对目前语音情感识别系统中存在特征单一和特征间交互性较弱问题，提出了多输入交互注意力网络MIAN。该网络由特定特征坐标残差注意力网络和共享特征多头注意力网络两个子网... 详细信息

语音情感识别是人机交互系统中一项重要且充满挑战性的任务。针对目前语音情感识别系统中存在特征单一和特征间交互性较弱问题，提出了多输入交互注意力网络MIAN。该网络由特定特征坐标残差注意力网络和共享特征多头注意力网络两个子网络组成。前者利用Res2Net和坐标注意力模块学习从原始语音中获取的特定特征，并生成多尺度特征表示，增强模型对情感相关信息的表征能力；后者融合前向网络所获取的特征，组成共享特征，并经双向长短时记忆（BiLSTM）输入至多头注意力模块，能够同时关注不同特征子空间中的相关信息，增强特征之间的交互性，以捕获判别性强的特征。通过两个子网络间的协同作用，能够使模型增加特征的多样性，并提高特征之间的交互能力。在训练过程中，应用双损失函数共同监督，使同类样本更紧凑，不同类样本更分离。实验表明：模型MIAN在EMO-DB和IEMOCAP语料库上分别取得了91.43和76.33的加权平均精度，相较于其他主流模型，具有更好的分类性能。

关键词：语音情感识别坐标注意力机制多头注意力机制特定特征学习共享特征学习

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于多头注意力机制的用户窃电行为检测

计算机科学 2022年第1期49卷 140-145页

作者：肖丁张玙璠纪厚业北京邮电大学计算机学院北京100876

窃电对社会和经济发展造成了重大损害。如何基于电力大数据来检测用户恶意窃电行为,已受到学术界和工业界的广泛关注。针对传统方法依赖于手工特征、行为序列表征不足和检测精度差等问题,提出了一种基于多头注意力机制的窃电检测模型(El... 详细信息

窃电对社会和经济发展造成了重大损害。如何基于电力大数据来检测用户恶意窃电行为,已受到学术界和工业界的广泛关注。针对传统方法依赖于手工特征、行为序列表征不足和检测精度差等问题,提出了一种基于多头注意力机制的窃电检测模型(Electricity Theft Detection Based on Multi-Head Attention, ETD-MHA)。该模型基于双向门控循环神经网络(Bidirectional Gated Recurrent Unit, BiGRU)充分捕获用户用电行为序列的时序特征,引入多头注意力机制来进一步增强关键特征的区分度,并通过加深网络来提高学习效果。在爱尔兰和中国国家电网智能电表数据集上进行了大量的实验,结果表明,相比传统的逻辑回归(Linear Regression, LR)、支持向量机(Support Vector Machine, SVM)、随机森林(Random Forest, RF)等多种算法,所提模型展现出了明显的优势。例如,在爱尔兰智能电表数据集上,其AUC值相比LR算法最高提升了34.6%。

关键词：智能电网窃电检测深度学习门控循环神经网络多头注意力机制

基于语义重编码和多头注意力机制的入侵检测方法研究

在线全文

学校读者我要写书评

暂无评论

基于语义重编码和多头注意力机制的入侵检测方法研究

作者：黄子学燕山大学

学位级别：硕士

随着计算机网络的快速发展,入侵检测已成为网络安全中的一个重要且具有挑战性的问题。网络流量呈指数级增长,从大量的流量数据中识别出攻击流量是入侵检测方法要解决的关键问题。传统的入侵检测算法面对复杂的、类不平衡的入侵检测数据... 详细信息

随着计算机网络的快速发展,入侵检测已成为网络安全中的一个重要且具有挑战性的问题。网络流量呈指数级增长,从大量的流量数据中识别出攻击流量是入侵检测方法要解决的关键问题。传统的入侵检测算法面对复杂的、类不平衡的入侵检测数据存在准确率低和泛化能力差的问题,如何从大规模网络流量数据中提取语义特征,并使用高效的分类模型对数据进行分类十分重要。因此,本文提出基于语义重编码和多头注意力机制的入侵检测方法研究,主要研究内容如下。首先,针对现有的入侵检测方法处理日益复杂的网络流量数据泛化能力差的问题,考虑正常流量和攻击流量在语义维度上的差异,本文提出基于语义重编码的网络流量表示方法,构建网络流量表示模型。针对入侵检测数据存在的类别不平衡问题影响分类效果和对语义特征的提取,本文提出生成少数类样本的过采样方法K-SMOTE,使用平衡后的数据进行网络流量的语义编码,便于深度学习模型提取语义特征,进而提高入侵检测系统的性能。其次,针对现有的入侵检测方法不能高效提取分类器需要的特征,在网络流量分类问题上性能较差的问题,本文构建了MHA-DNN入侵检测分类模型。该模型利用基于多头注意力机制在特征提取方面的优势,提取网络流量的语义特征,并使用深度神经网络对数据进行分类,以提高入侵检测系统对复杂网络流量数据的分类效果。最后,本文结合基于语义重编码的网络流量表示法和基于多头注意力机制的MHA-DNN入侵检测模型,提出基于语义重编码和多头注意力机制的入侵检测方法,并对方法的有效性和可靠性进行了实验验证。本文使用多个公开入侵检测数据集对算法进行实验验证和结果分析,将实验结果与其他入侵检测分类算法进行对比实验,实验结果显示,本文提出的入侵检测方法能够取得较高的分类效果。

关键词：入侵检测方法深度学习语义重编码词嵌入多头注意力机制

融合多头注意力机制和孪生网络的语义匹配方法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机科学 2023年第12期50卷 294-301页

作者：臧洁周万林王妍辽宁大学信息学院沈阳110036

考虑企业资源与客户需求匹配问题,现有的方法存在资源和需求封装不够准确以及匹配效果无法满足用户需求等问题。为解决企业资源与需求描述的多样性和歧义性,提出了动态自定义模板封装。针对封装后的需求与资源大多都是中文短文本这一特... 详细信息

考虑企业资源与客户需求匹配问题,现有的方法存在资源和需求封装不够准确以及匹配效果无法满足用户需求等问题。为解决企业资源与需求描述的多样性和歧义性,提出了动态自定义模板封装。针对封装后的需求与资源大多都是中文短文本这一特点,兼顾句子间语义的差异性和相似性,提出了融合多头注意力机制和孪生网络的交互型文本匹配模型。模型使用字词混向量作为输入增强文本的语义信息,将孪生网络与多头注意力机制相融合,作为独立单元提取上下文的语义特征并使语义特征充分交互。为了验证模型的有效性,在经典数据集LCQMC和自我构建的CSMD数据集上对模型进行了实验,结果表明所提模型在准确率和性能等方面均有不同程度的提升,为企业资源与需求提供了更精准的匹配方法。

关键词：自定义模板语义匹配孪生网络多头注意力机制双向GRU

在线全文

学校读者我要写书评

暂无评论

基于多头注意力机制的端到端土家语语音识别

计算机仿真 2022年第3期39卷 258-262,282页

作者：于重重吴佳佳陈运兵钱兆鹏北京工商大学人工智能学院北京102488 普天信息技术有限公司北京100080

土家语是一种典型的濒危语言,因其母语人少、无文字、仅以口语形式存在等低资源性,很难典藏大量带标注的语音,导致其消亡速度日益加快,因此挽救和保护濒危语言迫在眉睫。针对上述问题,建立了一种基于多头注意力机制的端到端濒危语言语... 详细信息

土家语是一种典型的濒危语言,因其母语人少、无文字、仅以口语形式存在等低资源性,很难典藏大量带标注的语音,导致其消亡速度日益加快,因此挽救和保护濒危语言迫在眉睫。针对上述问题,建立了一种基于多头注意力机制的端到端濒危语言语音识别模型。通过语音时域伸缩技术(time-scale-modification,TSM)改变土家语口语词汇语速对其进行扩充,有效解决了土家语语料不足的问题;建立基于注意力机制的端到端模型Listen,Attend,and Spell(LAS)实现土家语的自动语音识别功能;针对LAS模型中解码器状态向量与编码器状态向量对齐精度不高的问题,引入了多头注意力机制以提高模型的识别准确率。实验结果表明,多头注意力机制通过关注不同位置的空间信息能有效提升模型的表征能力,较传统注意力机制模型识别率提升了4.76%。

关键词：濒危语言低资源语音识别语音时域伸缩技术多头注意力机制