检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于注意力神经网络的脑状态模式识别研究

基于注意力神经网络的脑状态模式识别研究

作者：刘涛电子科技大学

学位级别：硕士

人类大脑是一种复杂的非线性时变系统,其对不同认知任务的动态响应过程组成了可被观测到的大脑活动。近年来大量的功能磁共振成像(Functional Magnetic Resonance Imaging,f MRI)研究试图从大脑活动中识别出被试所处的任务状态,这些工... 详细信息

人类大脑是一种复杂的非线性时变系统,其对不同认知任务的动态响应过程组成了可被观测到的大脑活动。近年来大量的功能磁共振成像(Functional Magnetic Resonance Imaging,f MRI)研究试图从大脑活动中识别出被试所处的任务状态,这些工作加深了我们对脑机制的理解。大脑的任务响应过程包含时间、空间以及脑区交互等多个维度,且不同层级认知任务的复杂度不同,识别难度也存在差别。然而,以往的研究往往仅从单一维度提取任务特征,并使用定长的f MRI数据识别不同的认知任务,极大地限制了模型的识别性能和应用场景。为了解决上述问题,本文提出了基于多注意力神经网络的脑状态模式识别研究,通过引入多个注意力模块提取不同维度的f MRI任务特征,通过采用动态的网络结构确定不同任务需要的数据长度。本文的主要研究内容如下:1.针对f MRI信号任务特征提取问题,本文提出了基于多注意力机制的特征提取方法,该方法利用时间注意力模块、空间注意力模块和自注意力模块用来提取与任务相关的特征。在本项研究中使用来自人类连接组计划(Human Connectome Project,HCP)1200个被试的情绪任务f MRI数据来评估所提出的模型。该研究对情绪任务的两种条件分类准确率达到99.51%。为了进一步对注意力模块的可解释性进行研究,本研究对注意力权重进行了可视化分析并对注意力模块进行了消融实验。结果表明,注意力模块可以学习到具有生物学意义的大脑表征,从而提高分类精度。2.针对任务识别所需数据长度的确定问题,本文提出了基于动态神经网络的大脑状态识别方法,通过引入动态的网络结构对识别不同样本所需的视觉长度进行确定。本项研究纳入了来自HCP数据集中6种任务(情绪、运动、语言、工作记忆、社交和关系)21种认知状态,采用1111例被试的f MRI数据来评估所提出的模型。结果显示,本研究对21种任务状态的识别准确率达到93.57%。对注意力权重的分析结果进一步证明了注意力模块的有效性。此外,本研究发现引入动态的网络结构可以有效地减少识别所需的数据长度,平均长度为6.2s时解码准确率仍可以达到91%。统计结果表明,识别所需的数据长度与任务的复杂度有关,即复杂的认知任务(社交、关系、工作记忆)比简单的认知任务(语言、情绪、运动)所需要的数据长度更长。本文在上述两个工作中利用深度学习算法构建任务态f MRI数据解码模型,从多个角度来提取任务相关的特征,然后利用这些特征来识别任务条件以及确定任务识别所需的数据长度,结果表明本文提出的模型提高了任务识别的准确率,也能够有效解码出任务识别所需数据长度,这为任务状态识别提供了两个更有效的模型,并为脑机接口系统的实现提供了基础。

关键词：脑解码注意力神经网络动态神经网络 fMRI

基于注意力神经网络模型的生物医学词义消歧研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意力神经网络模型的生物医学词义消歧研究

作者：逄淑阳哈尔滨理工大学

学位级别：硕士

生物医学词义消歧在生物医学领域应用广泛。机器翻译、文本挖掘和基因命名标准化等都是生物医学领域有价值的研究课题。生物医学文本的复杂性和多样性,用机器进行自动处理,可能无法得到专业词汇的正确含义。因此,生物医学词义消歧是上... 详细信息

生物医学词义消歧在生物医学领域应用广泛。机器翻译、文本挖掘和基因命名标准化等都是生物医学领域有价值的研究课题。生物医学文本的复杂性和多样性,用机器进行自动处理,可能无法得到专业词汇的正确含义。因此,生物医学词义消歧是上述工作进行的基础。本文通过对生物医学词义消歧知识和多种神经网络模型的研究,将注意力机制（Attention Mechanism）、多尺度非对称卷积神经网络（Multi-scale Asymmetric Convolution Neural Network,MACNN）和双向循环神经网络（Bidirectional Long Short Term Memory,Bi LSTM）融合,提出一种基于注意力神经网络模型的生物医学词义消歧方法。该方法在MSH WSD数据集获得较高的消歧准确率,对以后的生物医学词义消歧研究有一定的参考价值。具体工作如下:（1）提出了一种MACNN模型,该模型使用多个不同大小的卷积核来处理数据,可以获得更多的特征,引入非对称卷积的思想。实验对比了卷积核在不同大小和不同数量情况下模型的消歧性能。结果表明:卷积核大小为2、3、4时,MACNN模型的消歧性能最好,消歧平均准确率达到84.54%。（2）提出了一种MACNN-Bi LSTM模型,该模型兼具MACNN提取特征的能力和Bi LSTM获取上下文信息的能力。实验对比了LSTM隐藏层中不同节点数量和层数对LSTM模型消歧性能的影响。结果表明:隐藏层节点数为100时,LSTM模型的消歧性能最佳。MACNN-Bi LSTM模型的消歧平均准确率达到85.78%。（3）提出了一种注意力神经网络模型,在半监督方法中,使用Xgboost算法和Light GBM算法扩充训练语料。使用扩充之后的训练语料来优化注意力神经网络模型。最后,使用测试语料来测试模型的消歧性能。结果表明:经过扩充语料优化的注意力神经网络模型的消歧平均准确率达到87.59%。

关键词：生物医学词义消歧注意力神经网络半监督方法消歧特征

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

周期规律增强的多视角短期电力负荷预测

北京航空航天大学学报 2024年第2期50卷 477-486页

作者：苏伟肖小龙史明明方鑫司鑫尧国网江苏省电力有限公司电力科学研究院南京210000

短期电力负荷预测对电力系统的可靠运行具有重要意义。现有方法存在如下问题:缺乏对特征之间依赖关系的挖掘;忽略了电力负荷变化的周期性规律。为此,提出一种周期规律增强的多视角短期电力负荷预测网络(EPISODE)方法。EPISODE方法主要包... 详细信息

短期电力负荷预测对电力系统的可靠运行具有重要意义。现有方法存在如下问题:缺乏对特征之间依赖关系的挖掘;忽略了电力负荷变化的周期性规律。为此,提出一种周期规律增强的多视角短期电力负荷预测网络(EPISODE)方法。EPISODE方法主要包括2个核心组件:多视角特征学习组件和周期规律增强的电力负荷预测组件。前者旨在有效提取电力负荷数据中的静态特征与时序特征,以得到增强的特征表示;后者则是对电力负荷数据进行一般性时序挖掘和周期性时序挖掘,从而得到全面的电力负荷历史数据表征。基于后期融合的方式,实现短期电力负荷预测。在真实公开的电力负荷预测数据集上进行了大量实验。实验结果证明了所提方法相比现有基准方法的先进性。

关键词：周期规律增强短期负荷预测特征压缩与激励门控循环单元注意力神经网络

多点数值天气预报风速和辐照度集中式修正方法研究

在线全文

学校读者我要写书评

暂无评论

发电技术 2022年第2期43卷 278-286页

作者：张永蕊阎洁林爱美韩爽刘永前华北电力大学新能源学院北京市昌平区102206 新能源电力系统国家重点实验室(华北电力大学) 北京市昌平区102206

数值天气预报(numerical weather prediction,NWP)修正是提升风光功率预测精度的关键技术之一,但目前鲜有对NWP辐照度修正的研究,同时现有的NWP风速修正方法大多只考虑单一位置,忽略了风速间的时空耦合特性,影响修正效果。针对这一问题... 详细信息

数值天气预报(numerical weather prediction,NWP)修正是提升风光功率预测精度的关键技术之一,但目前鲜有对NWP辐照度修正的研究,同时现有的NWP风速修正方法大多只考虑单一位置,忽略了风速间的时空耦合特性,影响修正效果。针对这一问题,提出了考虑区域风光资源时空相关性的多点NWP风速和辐照度集中式修正方法。以区域内多个风电场和光伏电站的实测风速、辐照度数据为修正模型的学习目标,建立基于注意力神经网络的多点NWP集中修正模型,同时修正多个具有一定相关性的场站级NWP数据。结合某区域8个风电场和7个光伏电站的NWP数据和历史风速/辐照度数据,对所提方法进行验证,结果表明,相比于传统的单点NWP修正方法,所提方法能够有效提高NWP精度。

关键词：风电场光伏电站时空相关性数值天气预报(NWP) 功率预测注意力神经网络

在线全文

学校读者我要写书评

暂无评论

国际中文课堂中的教师语音情感识别研究

现代教育技术 2023年第8期33卷 87-95页

作者：欧志刚刘玉屏李若琳覃可中央民族大学国际教育学院北京100081

当前,国际中文教育正处于转型发展的关键期,亟待引入人工智能、大数据等新一代信息技术以提高教育教学质量,推动中文教育数字化、智慧化。为此,文章首先以通道注意力机制、时间注意力机制以及空间注意力机制为基础,融合2D、3D卷积神经网... 详细信息

当前,国际中文教育正处于转型发展的关键期,亟待引入人工智能、大数据等新一代信息技术以提高教育教学质量,推动中文教育数字化、智慧化。为此,文章首先以通道注意力机制、时间注意力机制以及空间注意力机制为基础,融合2D、3D卷积神经网络,构建多维注意力混合卷积神经网络模型用于语音情感识别。然后,文章将该模型应用于国际中文课堂教师语音情感识别实践,发现该模型通过深度学习能够更好地获取语音情感特征表示。此外,文章还发现模型表现出较好的语音特征提取和分类能力,能够对国际中文课堂中教师普遍表现的高兴、关怀、满意、平静等情感进行识别。文章通过研究,旨在助益中文教师自主提升教学实践能力、改善课堂教学效果。

关键词：人工智能语音情感识别注意力神经网络国际中文教育国际中文教师

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

基于神经网络的相似编程题目推荐

计算机工程与设计 2022年第1期43卷 260-268页

作者：王小良郑巍夏传林南昌航空大学软件学院江西南昌330063

为在有限的资源下为学生推荐合适的题目,通过对题目的异构数据信息特征(题目-文本、题目-知识点和题目-源代码)的提取,提出基于注意力的神经网络框架(HANN)的推荐题目的设计方案。为在HANN框架上评估文本与源代码、文本与知识点之间的关... 详细信息

为在有限的资源下为学生推荐合适的题目,通过对题目的异构数据信息特征(题目-文本、题目-知识点和题目-源代码)的提取,提出基于注意力的神经网络框架(HANN)的推荐题目的设计方案。为在HANN框架上评估文本与源代码、文本与知识点之间的关联,提出两种策略即文本-源代码(TCA)和文本-知识点(TQA);在相似注意的基础上,对每组练习中的相似部分进行测量;开发一个成对训练策略来返回相似的题目集。广泛的实验结果在真实数据下清楚地验证了HANN框架的有效性和解释能力。

关键词：注意力神经网络推荐信息特征异构数据语义表示

在线全文

学校读者我要写书评

暂无评论

基于神经网络的行为推荐模型研究

基于神经网络的行为推荐模型研究

作者：杨康黑龙江大学

学位级别：硕士

随着互联网技术的飞速发展,诸如Amazon、e Bay、Tmall、美团和饿了么等互联网技术服务应用日益成为人们日常生活中的重要一环。这些应用在为人们提供便捷服务的同时,也产生大量的用户-物品、用户-用户和物品-物品的交互数据,而这些数据... 详细信息

随着互联网技术的飞速发展,诸如Amazon、e Bay、Tmall、美团和饿了么等互联网技术服务应用日益成为人们日常生活中的重要一环。这些应用在为人们提供便捷服务的同时,也产生大量的用户-物品、用户-用户和物品-物品的交互数据,而这些数据中往往隐藏着大量的用户个人偏好信息和用户个人行为信息。对这些丰富的隐藏信息通过数据挖掘的手段,可以量化一个用户的偏好、一个物品的属性以及用户与用户之间的信息传播影响关系。基于量化后的行为语义信息,可以广泛应用到个性化推荐、舆情监控、用户画像以及精准广告匹配等领域。在传统推荐领域,现有的基于评分行为的推荐模型不能很好的解决由于数据稀疏所导致的冷启动问题。用户和物品有着丰富的交互数据,但传统的推荐系统只局限于用户对物品的评分数据的处理,忽视了评论信息、浏览或购买物品的先后顺序以及用户的社交关系等交互信息。基于用户行为语义的模型可以有效捕捉用户的偏好和物品的属性,从而提升推荐系统的性能。相较于传统推荐领域,POI（Point of Information）推荐面临着庞大的不同类型数据的处理问题。因此,POI推荐的数据稀疏程度相较于传统推荐更高,冷启动问题更加严重。因此,基于综合利用LBSN（Location Based Social Network）数据的NextPOI推荐系统在近几年成为学术界与工业界的热门研究课题。针对上述推荐系统领域存在的两个问题,本文从以下两个方面进行研究:（1）基于注意力神经网络及用户行为的物品推荐。提出AT-UBM（Attention Neural Network for User Behavior Modeling）算法捕捉用户评论信息中的偏好,并结合用户购买行为预测用户下一个可能想要购买的商品。AT-UBM算法的主要思路是:将所有用户的评论通过一个神经网络过滤机过滤,筛选出对具有代表性的评论信息,再将评论信息输入到一个Attention神经网络赋予不同权重,最后挑选出具有代表性的词向量分别代表用户的评论特征和商品的评论特征。AT-UBM会将商品的评论特征按照用户访问顺序进行拼合（Concat）,之后将这个矩阵与用户的评论特征拼合形成用户当前时间段的特征矩阵,并最终利用CNN神经网络提取用户特征并进行预测。真实数据集的实验结果表明,AT-UBM算法与现有算法（AT-Rank）相比,命中率有着6%～8%提高。（2）LBSN中基于图神经网络的POI推荐。LBSN图是一个异构图,其中包含大量异构数据。已有的基于LBSN的POI推荐系统通常将其拆分为多个同构网络进行学习,这样会导致大量异构信息的丢失。本文提出一种异构图嵌入学习模型SGBA（Social-Geographic Behavior Alliance model）,此模型直接学习LBSN图上的POI嵌入表示。SGBA首先通过异构随机游走算法获得每个POI相关伪POI序列,再利用Word2vec生成POI嵌入。SGBA算法依据用户访问POI的时间和地理距离划分出不同的访问会话,并利用LSTM（Long Short-Term Memory）从不同会话尺度对用户访问序列进行学习。实验结果表明,SGBA算法与其他算法相比,在AUC（Area Under Curve）、Recall和ACC（Accuracy）上均有性能提升。其中,在Gowalla上相较于ST-RNN（Spatial Temporal Recurrent Neural Networks）,AUC性能提升了3.4%,而在Brightkite上相较于ST-RNN,AUC性能提升了3.2%。

关键词：推荐系统注意力神经网络 LBSN 用户行为语义建模

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

多载波NOMA系统总和速率最大化研究

多载波NOMA系统总和速率最大化研究

作者：韩文毫南京邮电大学

学位级别：硕士

随着移动通信的快速发展,技术标准的不断演进,第四代移动通信技术已经不能满足人们日益增长的需求,为了应对频谱资源、移动接入技术和网络架构等方面的挑战,第五代移动通信技术应运而生,非正交多址接入技术(NOMA)作为5G关键技术之一,该... 详细信息

随着移动通信的快速发展,技术标准的不断演进,第四代移动通信技术已经不能满足人们日益增长的需求,为了应对频谱资源、移动接入技术和网络架构等方面的挑战,第五代移动通信技术应运而生,非正交多址接入技术(NOMA)作为5G关键技术之一,该技术在发送端利用信道编码和功率分配技术使得多用户共享时频资源,接收端使用串行干扰消除技术解调出接收信号,因此合理可靠的信道和功率分配算法可以保证接收端的有效解码,提高系统的总和速率。在保证用户公平性的前提下,研究如何最大化多载波NOMA系统的总和速率。本文主要工作如下:一、基于传统的信道和功率分配算法,提出一种分步优化的思路,首先提出一种稳定匹配的分组算法,根据等效信道增益选择初步的分组方案,再根据总和速率最大化进行判决,确定最终的用户分组方案,第二步提出一种基于遗传算法的功率分配算法,由一定数量的用户组成种群,由染色体构成功率大小,并根据NOMA系统的总和速率为适应度函数,通过不断的选择、交叉、变异得到该条件下最优功率分配矩阵。仿真结果表明。该算法在保证了复杂度没有增加基础上,有效地提高了系统总和速率。二、基于流行的深度强化学习框架,提出一种基于注意力的深度强化学习的资源分配算法,首先建立以最大化总和速率和最大化最小速率为优化目标函数,先推导出给定信道条件下,最优功率分配的闭合解,然后提出一种基于注意力神经网络的深度强化学习框架来解决信道分配问题,该神经网络利用了一种编码器-解码器结构的注意力框架,编码器输出信道分配的所有状态空间,译码器输出所有状态的转移概率分布,结合已推导的功率分配策略,得到最优信道和功率联合分配的策略。仿真结果表明,所提出的算法在最大化总和速率和最大化最小速率都具有很高的系统性能。

关键词：非正交多址接入总和速率最大化最小速率最大化功率分配用户分组遗传算法注意力神经网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于兴趣度的协同过滤推荐系统研究

基于兴趣度的协同过滤推荐系统研究

作者：闵姝文武汉大学

学位级别：硕士

人类生活的网络化为大数据的到来提供了坚实基础,如何利用庞大的数据信息为人类生活带来便利、为商家经营带来收益成为了一个非常务实且必要的问题,个性化推荐系统的诞生为该问题的解决提供了一个很好的方向。协同过滤因为其在用户兴趣... 详细信息

人类生活的网络化为大数据的到来提供了坚实基础,如何利用庞大的数据信息为人类生活带来便利、为商家经营带来收益成为了一个非常务实且必要的问题,个性化推荐系统的诞生为该问题的解决提供了一个很好的方向。协同过滤因为其在用户兴趣建模中的可用性和有效性一直是推荐系统的关键组成部分。同时,近年来,深度学习在诸多领域都取得了突破,其越来越多地被作为从用户和物品特征交互中捕获更丰富的协同信号的一种方法而应用于推荐系统中。然而,如何利用协同过滤的思想从大规模且稀疏的用户隐式反馈数据中提取高质量的用户和物品的特征这一问题经常被忽略。另外,大多数基于深度学习的推荐方法只考虑特征之间非线性、高阶的交互,而忽略了捕捉特征低阶交互中的显式协同信号,或者协同信号挖掘不充分。而这些都是实现高质量的物品推荐必须考虑的基础内容。针对以上问题,本文从特征提取和模型构建两个方面进行了相关研究。本文首先回顾了协同过滤中传统的特征提取方法,针对传统方法协同信号挖掘不充分问题,尝试利用用户和物品的隐式交互数据动态地建模用户的兴趣和物品的属性。然后,本文重点基于深度学习中以交互函数学习为基础的方法提出了一种深度推荐模型,尝试将其构建为一个能同时挖掘用户和物品之间显式线性关系和隐式非线性关系的端到端模型。具体言之,在特征提取方面,本文提出了一种基于双边邻居信息的个性化特征提取方法,该方法将用户表示为其历史交互物品(即用户邻居信息),将物品表示为其历史交互用户(即物品邻居信息)。同时,鉴于不同的用户交互物品对该用户的特征表示作用不同,针对特定的目标物品,该方法构建了一个注意力神经网络来动态建模用户兴趣特征。针对数据稀疏问题,该方法能够起到缓解作用,同时实现用户个性化建模。在模型构建方面,本文提出了一种基于协同过滤的深度兴趣推荐模型——DAICF,该模型利用嵌入层和表示层得到能够体现用户兴趣和物品属性的嵌入向量,然后利用浅层组建建模向量之间的二阶线性关系,利用深层组件建模向量之间的高阶非线性关系,最后将这两种互补的信号融合在一起后为用户提供有效的推荐,该方法能够实现模型记忆性与泛化性的同步提升。本文在Pinterest、Digital Music、Office Product和Movie Lens四种类型的公开数据集上进行了大量实验,在不同的评估指标下对比了DAICF模型与五种对比模型的效果差异,同时,本文针对DAICF模型的特征选择和组成进行了验证实验。实验结果证明DAICF模型的效果领先于其他模型,模型构建的特征和组成模块均有效提升了模型的效果,这说明本文提出的方法实现了从用户的历史行为数据中建模用户和物品的协同信号、挖掘用户个性化的兴趣偏好的功能。最后,本文通过对真实用户的案例分析证明了DAICF模型对用户个性化建模的有效性和可解释性。

关键词：推荐系统协同过滤深度学习隐式反馈注意力神经网络